有一次，宰相杨炎认为卢杞不但貌丑，而且人还非常的无知，经常在卢杞的面前表现出看不起他的样子。卢杞知道后，就在德宗面前诽谤杨炎，杨炎因此获罪而遭贬官。还有一次，朱泚叛乱，德宗逃到奉天后，崔宁整日流着泪谈论着目前的时事。卢杞对崔宁的这种做法十分反感，于是就像德宗进言说，崔宁和朱泚是立过盟誓的兄弟。唐德宗听到这个消息，马上下令赐死崔宁。

卢杞在自己为政期间，一直不断的陷害忠良，还搜刮民脂民膏。不论是朝堂上的人还是民间的小老百姓，都对他的做法怨声载道。后来京师失守，大臣们联名上书弹劾卢杞，皇帝迫于形势压力，将卢杞贬为新洲司马，后来又贬为澧州別驾。卢杞在赴任途中病逝。