乾隆三年(1738年)，已历康雍乾三朝的老臣张廷玉请求辞去吏部职务，其理由是年纪渐大，“自觉精神思虑迥不如前，事多遗忘，食眠渐少。”

　　不过，这次却被在位未久的乾隆给驳回了。

　　乾隆十一年(1746年)，张廷玉最看重的长子张若霭突然病故。白发人送黑发人，这对张廷玉无疑是一沉重的打击。

　　此后，张廷玉的精神状态急转直下，如《啸亭杂录》中就讲了一个笑话：说张廷玉晚年颇以谦抑自晦，每遇启事者至，动云：“好、好。”

　　一日，有阁中胥吏请假，公问何事，曰：“适闻父讣信。”公习为常，亦云：“好、好。”舍人等皆掩袂笑，而公未觉也。

　　乾隆九年(1744年)，张廷璐告老还乡时，张廷玉作诗送别其弟：

　　“七十悬车事竟成，轻车远称秩宗清。几人引退能如愿?先我归休觉不情。