杨素同意杨约的想法,站到了杨广一边,帮助他做了皇太子。这以后,杨广任命杨约做了左庶子,进位大将军。
隋文帝临终前对杨素有所疏远,杨约也受到影响,离京做了伊州刺史。隋文帝死时,杨约正好在仁寿宫,杨广派他带人进宫,代替原有的守卫者,又让他去把废太子杨勇勒死,布置重兵。
杨广还有一个亲信张衡,一直在他身边做事,深得信任,杨广的许多计谋全部出自于他。杨广登基之后,张衡进位银光青光禄大夫,转为御史大夫。
物极必反,张衡后来失宠,杨广先是把他的官职全部夺尽,后来赐他在家里自尽。临死之时,张衡意味深长地说:“我帮别人做过何等可怕的事,怎么还敢奢望继续活在世上!”
负责监刑的官员害怕张衡说出什么可怕的秘密,让自己陷于难堪的境地,急忙把自己的两只耳朵牢牢塞住,让手下赶快把张衡弄死。