两人作为高宗的亲信在宋高宗继位之后，更加受宠，虽然两人一点作为都没有，甚至国内的灾情也都不上报，但是依旧受到高宗宠信，以至于好多弹劾他们的都被罢官，甚至欧阳澈陈东等人还因此被害。后来当时的御史中丞张澄弹劾两人，共列罪状二十条，其中包括他们无所作为导致国家不幸，百姓士大夫好多都被杀害，国家的银钱都被敌人占据，结党营私相互包庇等罪状，这条奏疏还没有上到皇帝面前，两人就纷纷请求辞官归去，后来两人都被罢官，贬到了外地去。