德文郡公爵画像

1757年7月，因为英国国王辞职下台，致使德文郡公爵的首相生涯戛然而止。英国国王认为，德文郡公爵是一个严守规章，兢兢业业的大臣，他从不指望德文郡公爵能够干出一番大事业。等到纽卡斯尔复出之后，德文郡公爵再次踏入政途，他不但获得了嘉德勋章，同时还担任了宫务大臣之位。乔治三世继位之后，乔治三世和他的心腹大臣布特勋爵腓特烈·诺斯非常看不惯辉格党贵族傲慢的生活作风，其中代表人物就有德文郡公爵四世。

乔治三世为了教训傲慢的辉格党贵族，他专门挑德文郡公爵四世下手。1763年，乔治三世让德文郡公爵四世参加枢密院会议，让德文郡公爵四世就西班牙讲和的条件问题展开发言讨论。德文郡公爵不想参加乔治三世组织的枢密院会议，便以不清楚这个问题为由，拒绝参加枢密院会议。后来，德文郡公爵四世在去查特斯沃斯之前，进入英国王宫向国王请假。国王让侍从给德文郡公爵传话，说他拒绝接见德文郡公爵四世。德文郡公爵四世十分生气，便辞掉了宫务大臣职务。