究其原因，主要是因为他在克里米亚战争期间的处置不当。事实上，他本人是反对这场战争的，但他却不由自己的去发动这样一场战争，连他自己认为是一个巨大错误的战争。这一切也导致了他在面对这场战争时举措的犹豫不定。事实上阿伯丁伯爵他是一个不缺乏才能的人，但却因为这样一场与他原本的价值观背道而驰的战争，使人们失去了对他的政治能力的信任，最终被赶下台，结束了他的政治生涯。

晚年的阿伯丁伯爵住在阿伯丁郡的乡间，76岁时去世。