二十一年，张九龄升中书侍郎，当时安禄山反叛被平定后，张九龄上书称安禄山狼子野心，日后将为害大唐，建议诛杀他。但皇帝没有采纳他的意见，放过了安禄山，为日后的“安史之乱”埋下了祸根。二十二年，张九龄升中书令，第二年又加封金紫光禄大夫。

然而，此时李林甫入朝，他忌妒张九龄的才能，联系牛仙客等人向皇帝进谗言，最终在开元二十四年的时候，张九龄被罢相。张九龄在任期间，重视农桑，轻徭薄赋，政治清明，唯才是用。为“开元盛世”的延续作出了积极贡献。

开元二十八年，张九龄上书皇帝，请求回乡扫墓，不想在途中得病去世，享年六十八岁。死后，皇帝追赠其荆州大都督，谥号文忠。他是“开元盛世”的最后一位贤相，在他之后，大唐王朝开始走向衰落，最终导致了“安史之乱”的爆发。