阿伯丁伯爵的晚年过的是一种苏格兰封建贵族的传统生活，甚至他的孩子都知道他是一位“爵爷”。每到星期六中午，他就坐在门口同佃户们谈论问题，并对发生的争执做出仲裁。他和萨瑟兰伯爵夫人是贵族阶层中遵守这种旧习惯的最后两位贵族。

每到星期天，一队马车载着阿伯丁勋爵和其他做礼拜的人前往教区的教堂。在仪式结束时，他就同牧师相互鞠躬致意。阿伯丁伯爵的晚年是在郁郁寡欢中度过的，是他在克里米亚战争问题上有一种负疚感一直折磨着他，阿伯丁在辞职六年之后，于1860年12月14日在圣詹姆斯宫阿盖尔大厦去世，终年76岁。