两京光复以后，肃宗立即派太监啖庭瑶赴成都迎太上皇还都。他对李泌说：“朕已表请上皇东归，朕当还东宫修臣子之职。”李泌说：“表可追乎?”肃宗说：“已远矣。”李泌说：“太上皇不来矣。”肃宗惊问其故，李泌说：“理势自然，今请更为群臣贺表，言自马嵬请留，灵武劝进，及今成功，圣上思念晨昏，请速还京以尽孝养之意，则可矣。”肃宗令李泌立即草表，然后派人把贺表送到成都。
事情果然如李泌所料，太上皇看了啖庭瑶送来的表以后彷徨不安，饮食难进。并说：“当与我剑南一道自奉，不复东矣!”但接到群臣贺表以后马上高兴起来，决定准备返京。
去成都送表的宦官回到扶风(今陕西凤翔)以后，报告了太上皇的情况，肃宗得知太上皇决定返京以后非常感激李泌。在肃宗离开扶风之日，正是太上皇从成都出发返京之时。这天，太上皇与陈玄礼、高力士、部分皇子、皇孙及禁军六百余人，沿着原来的路线返回长安。
太上皇在成都住了十四个月，虽然没有建树，仍给剑南留下较好印象。他走以后，蜀人把他的行宫改为道观，给他铸了铜像，顶礼膜拜。
太上皇一行过剑门、汉中、散关，经历三十天，于十一月到达扶风。在这里，发生一件不愉快的事。时肃宗从长安派三千精骑到扶风“迎卫”,把太上皇的禁军缴了械，将缴下来的“甲兵”存放在扶风武器库里。据说此事是宦官李辅国出的主意，经肃宗认可后办理的。
扶风缴械事件暴露了肃宗与太上皇之间的相互猜忌，一年半以前马嵬驿太子与陈玄礼发动的兵变，缢死杨贵妃，带走两千禁军自己称帝。太上皇在始安郡发布诏令，分割太子兵权，也反映了父子之间的矛盾。这次太上皇带六百禁军准备返京，肃宗不放心，因此以三千精骑保卫太上皇，解散其禁军，说明肃宗仍然存有戒心。
太上皇在扶风七八天，然后返京。十二月初，到达咸阳望贤宫。肃宗亲自迎接，据说他未穿黄袍，穿的是紫袍，拜舞于望贤宫下。当时“上皇下楼，上(肃宗)匍匐捧上皇足，涕泣呜咽，不能自胜”。接着，太上皇把黄袍给肃宗穿上，当时肃宗叫一千余官民，拜见太上皇。官民们说：“臣等今日复睹二圣相见，死无恨矣。”接着，肃宗请太上皇登正殿，晚间在望贤宫过夜。
第二天，太上皇在肃宗陪同下返京，从长安西北的开远门到大明宫，一路上站满了欢迎的群众。太上皇到含元殿接见文武百官，礼毕，到长生殿拜九庙神主。然后，太上皇在陈玄礼、高力士陪同下，回到居住多年的兴庆宫。
过了两天，肃宗又提出自己让位之事，太上皇坚决不同意，并说：“吾为天子五十年，未为贵，今为天子父，乃贵耳!”半月以后，太上皇到宣政殿把传国玉玺亲手交给肃宗，此后肃宗再不提让位问题了。
乾元元年(758)正月，太上皇在宣政殿给肃宗加“光天文武大圣孝感皇帝”称号，肃宗请去“大圣”二字，太上皇不同意。与此同时，肃宗尊太上皇为“太上至道圣皇天帝”。
太上皇重新住进兴庆宫以后，往日的繁华热闹景象一去不复返了，他经常怀念旧人旧事，包括杨贵妃。但杨贵妃已死，不会复活。而梨园子弟，可能还有一些。于是令高力士各处寻找，果然找到一些梨园故人。
夜晚，太上皇、高力士，乘月夜登勤政楼，引梨园故人唱《凉州词》,太上皇吹笛伴奏，曲罢相视，无不掩泣。
乾元元年(758)十月，太上皇到华清宫避寒，当地百姓纷纷出来迎接，都想看看阔别多年的老君主。在华清宫，他召见了著名女伶谢阿蛮。她善演《凌波曲》,过去常入宫，杨贵妃和她交好。
太上皇弃京南逃以后，阿蛮便回家乡去了。太上皇回到华清宫，又见谢阿蛮献舞，却不见杨贵妃，真是百感交集。舞毕，谢阿蛮拿出了“金栗装臂环”给太上皇观看，原来这是杨贵妃给的。太上皇“持之出涕，左右莫不呜咽”。这次太上皇在华清池住了二十多天，于十一月返京。
由于太上皇思念杨贵妃不已，因此准备改葬杨贵妃。所谓改葬，不仅要把杨贵妃坟墓移到适当地方，而且涉及杨贵妃正名问题，肃宗最初表示同意，后来遭礼部侍郎李揆的反对，礼部侍郎李揆曰：“龙武将士诛国忠，以其负国兆乱。今改葬故妃，恐将士疑惧，葬礼未可行。”由此可见，如果改葬杨贵妃，等于否定马嵬驿兵变，实际上也就是否定唐肃宗、陈玄礼，等于给杨贵妃、杨国忠平反昭雪，因此作罢。最后决定用棺椁盛尸体，埋葬另一墓地，但未举行安葬大礼。
太上皇回京以后住在兴庆宫，约两年半时间，生活悠闲，行动自由。但是，随着时间的推移，肃宗与父亲的关系渐渐冷淡。他认为太上皇住兴庆宫与外界接触频繁，对自己不利。
宦官李辅国说：“太上皇居兴庆宫，日与外人交往，陈玄礼、高力士谋不利于陛下。今六军将士尽灵武勋臣，皆反仄不安。臣晓谕不能解，不敢不以闻。”建议太上皇迁居西内太极宫。
李辅国的主意完全符合肃宗的想法。在肃宗的同意下，李辅国首先削减太上皇御马，从三百匹缩减为十匹，这是上元元年(760)六月的事。
七月，李辅国“矫称”圣旨，迎太上皇游幸西内太极宫，太上皇走到睿武门时，李辅国率五百射生手突然出现，手持兵器拦住太上皇去路说：“皇帝以兴庆宫湫隘，迎上皇迁居大内。”原来的游幸变成“迁居”,李辅国耍了一个阴谋。
太上皇见了寒光闪闪的兵器逼来，吓了一跳，几乎从马上掉下来。高力士大喝一声：“李辅国休得无礼!”叱令下马，李辅国不得不收敛一点儿。高力士代替太上皇要将士安分，指示他们不许以武力干扰銮驾。将士皆收起兵器，再拜，呼“万岁”!力士还让李辅国拉着太上皇的马来到太极宫。
太上皇迁到西内以后，原来侍奉太上皇的陈玄礼、高力士等人都不准留在左右，另外派几十名老兵护卫，从此把太上皇幽禁起来。
过了几天，李辅国宣肃宗旨意：“(高)力士潜通逆党，曲附凶徒，隐怀枭搅之心，合就鲸鲵之戮。以其久侍帷幄，颇效勤劳，目舍殊死，可除名，长流巫州。”陈玄礼被迫“致仕”,肃宗另选一百余名宫女负责西内洒扫，命太上皇两个女儿万安公主、咸宜公主侍候服膳。
肃宗幽禁太上皇，首先出于政局的变化。乾元元年(758)六月，史思明杀了朝廷在范阳的代表，重新叛唐。第二年九月，叛军第二次攻占东都，使肃宗深感不安，当时肃宗的处境和两年前太上皇处境相似，他怕太上皇乘机夺权，从而把他父亲隔离起来。
第二，在改葬杨贵妃问题方面，肃宗父子间矛盾扩大，联系其他事把关系复杂化。太上皇在兴庆宫，有时被行路百姓朝拜，还有人喊“万岁”。太上皇有时在兴庆宫宴请长安父老。在战局紧张以后便引起肃宗的猜疑，特别是与羽林大将军郭英义的来往，更引起肃宗关切。
上元元年(760)四月，郭英义被调离长安，出任陕西潼关节度防御使，很可能与太上皇有关。
由于肃宗与太上皇矛盾的明朗化，宦官李辅国建议迁太上皇于西内，把太上皇幽禁起来。
太上皇被幽禁以后，受到沉重打击，从此他“日以不怿”,按道教“辟谷”方式“不茹荤”,不吃五谷，以致患了大病。
最初，肃宗有时到西内问安，后来他自己也得病了，改派别人问安。病发以后，再也不亲探望父亲。年迈的太上皇在西内孤独凄凉地住了一年零八个月，于
宝应元年(762)四月五日，在神龙殿离开人世，享年七十八岁。