杨恽在大众中的知名度不高，要谈他，就要先拉出他的家世来矜夸一下。他是汉昭帝时丞相杨敞的儿子，更是司马迁的外孙。

　　作为丞相的儿子，司马迁的外孙(虽说通常外孙这样的旁支很少沾得上光了，但宣帝时曾迁杨恽来阐述传播其外祖父的书，王莽时又封司马迁的后人，说明司马迁地位已经很超然了;又因被宫再无子嗣，故其女儿的旁支也可继爵)，杨恽以才能著称，好结交，早就名显朝廷了。可以说，司马迁《史记》得以传播流传，杨恽是有很大功劳的。

　　揭发霍氏谋反让杨恽得以封侯;还有两件事，都增加了杨恽的好名声：一是废止了郎官出补外官要出钱的“山郎”贿赂制度，二是轻财好义，父亲的财产都分给宗族，后母给他继承的财产他也全部分给后母的昆弟。他廉洁无私、处事公平，都是人人赞誉的。

　　然而，杨恽性格中有致命的短板。按木桶定理来说，就是他最糟糕的一面决定了他人生的命运。《汉书》中云，“恽伐其行治，又性刻害，好发人阴伏，同位有忤己者，必欲害之，以其能高人。”再有才能再慷慨，天性记仇又阴毒刻薄，无论如何也是不讨人喜欢的。这就种下了恶果。

　　与杨恽有过节的太仆戴长乐的下狱是一个导火索。戴长乐曾奉诏摄天子事，在宗庙演习礼仪，回来他就大剌剌地对掾史说：“我亲自面见受诏，而且还是秺侯金日磾坐在副帝的位置上御车。”结果这番话被人告上去了，称其“非所宜言”。戴长乐怀疑这是杨恽让人上告的，也上书告杨恽。