玄宗住在兴庆宫，寂寞无事时就常常站在长庆楼上徘徊观览。过路的父老百姓看到太上皇在楼上，往往前来瞻拜，高呼“万岁”。唐玄宗不忍拂大家的好意，便经常在楼下置酒食赐给这些参拜的民众，剑南来京办事的官员，由于玄宗有流亡成都的一段经历，也拜舞于长庆楼下，玄宗则命玉真公主和如仙媛招待他们。

　　有一次，玄宗召羽林军大将军郭英义于长庆楼，赐宴款待，本是正常的人际交往，但这一切，在唐肃宗那里，却产生了“与外人交通”的疑虑。上元元年(公元760年)四月，郭英义被外放，离开京城，改任陕州刺史，这多少反映了肃宗对玄宗的提防。肃宗对玄宗的猜忌日益明朗化，李辅国又不断挑拨两人之间的关系。李辅国出身于飞龙小儿，属于卑贱之列，唐玄宗身边的高力士、陈玄礼等人都不看重他。因此，李辅国对玄宗身边的这班人马都怀恨在心，伺机报复。

　　他公开给肃宗上奏说：“上皇居兴庆宫，日与外人交通，陈玄礼、高力士谋不利于陛下。今六军将士尽灵武勋臣，皆反仄不安，臣晓喻不能解，不敢不以闻。”如此危言耸听，几乎等于明确指斥太上皇与手下谋反。他进一步建议肃宗迫使玄宗迁居太极宫(西内)甘露殿，断绝玄宗与外界的联系。

　　在肃宗的默许之下，李辅国于七月“矫称”圣旨，迎太上皇游幸西内太极宫。行至睿武门，李辅国率领事先安排在那里的500骑射，突然露刃遮道，奏曰：“皇帝以兴庆湫隘，迎上皇迁居大内。”玄宗面对挥刀逼人的武士，蓦然一惊，几乎从坐骑上掉下来，幸亏高力士大喝一声：“李辅国何得无礼!”强迫李辅国下了马，并代表玄宗向各位将士问好，才使气氛缓和下来。

　　武士们都收刀再拜，口喊“万岁”。高力士还叫李辅国一起牵着玄宗的马，来到西内太极宫，玄宗悲泣地对高力士说：“微(没有)将军，阿瞒(玄宗)已为兵死鬼矣。”唐玄宗被安置在西内甘露殿以后，高力士、陈玄礼以及原兴庆宫的侍候人员一律不准留在左右。

　　其中，高力士被流放在巫州(今湖南黔阳西南)，王承恩被流放在播州(今贵州遵义)，陈玄礼被勒令致仕(告老还乡)，玉真公主被勒令出居玉真观。然后，由肃宗选择了100余名宫人，负责西内的打扫服务，唐玄宗的两个女儿万安公主与咸宜公主被召来服侍玄宗。从此，这位曾经叱咤风云的大唐天子，直至死为止，再也没有走出这宫殿的范围，在凄凉的禁闭生活中度过了他的暮年。

　　从赐死杨贵妃到唐肃宗即位，玄宗只当了一个月皇帝;而回到帝都长安之后，他只当了6年孤苦伶仃、身不由己的太上皇，玄宗的晚年也是够惨的……