但是，谢尔本伯爵二世并没有在这个位置上干多长时间，他和同僚在讨论把约翰·威尔克斯赶出下议院时，说了一些与政府意见对立的话。谢尔本伯爵二世的话语激怒了政府，所以谢尔本伯爵二世被迫退出英国政府。谢尔本伯爵二世隐居期间，他精心装扮自己的家园，并且搜集了大量书籍，建造了一个规模可观的图书馆。除此之外，谢尔本伯爵二世经常和知识名流交往，比如杰里米·边沁，大卫·休谟都是谢尔本伯爵二世的好友。