也是从这以后，重新得到了景帝的重用，任命为河间王太傅。景帝三年，由于“吴楚七国之乱”开始爆发，卫绾接到使命，参与平定七国之乱的战争，因平定有功被封为中尉。直到景帝七年的时候，废太子刘荣，严治刘荣生母栗氏之相关的亲属。卫绾也是正是栗氏亲属所以受株连。但景帝看他忠厚，不忍心杀了他，于是就赐他免官归家。不久，刘彻当上太子，卫绾又受诏为太子太傅，并升为御史大夫。五年后升为丞相。至汉武帝即位，他被以“不称职之名”被罢免。死后，谥号哀侯。

卫绾一生谨慎小心，其主要目的就是保护自己。他任丞相，只起上传下达之作用，对于朝政大事，他却往往粗略不问。在汉武帝即位，结束了黄老政治的统治，卫绾的政治生涯终结了。