从此班婕妤身居深宫中，怜悯自己的年华老去，便作《团扇诗》来自伤，知道自己今后再也不可能得到汉成帝的宠爱了。不久，赵飞燕就被封为皇后，赵合德也成了昭仪，但是这些事情都与斑鸠于无关了。班婕妤除了侍奉王太后烧香念佛之外，她还每天写写诗赋来抒发自己内心的感慨。

在汉成帝驾崩后，班婕妤选择到汉成帝的陵墓去守陵来度过自己最后的余生。王太后答应了她的请求，让班婕妤担任了守护陵园的职务，自此之后班婕妤每天陪伴着石头人像和马像，独自寂寥地过完了自己的晚年。大概在汉成帝去世的一年之后，她便病逝了，时年约四十来岁。在班婕妤死后，人们将她葬在了汉成帝的陵墓中。班婕妤的一生是悲惨的，但是她仍旧保持自己高尚的德操，她的故事因此也为世人所传诵。