一天，唐玄宗骑着马在兴庆宫游玩，太监李辅国突然带着500名带刀侍卫拦住了唐玄宗的路，70多岁的唐玄宗一看不对劲，吓得差点从马上跌下来，一旁的高力士赶紧用手撑住唐玄宗的后背。 李辅国看到唐玄宗的窘迫，不禁洋洋得意起来：“ 兴庆宫不安全，皇上请太上皇搬入太极宫。” 高力士看着嚣张的李辅国，怒上心头，大声斥责道：“ 太上皇在此，李辅国怎敢无礼。”此时的李辅国是唐肃宗身边的头号红人，怎么会把无权无势的太上皇放在眼中呢？他冷笑几声，说道：“ 高公公，你事到临头哪来的胆子耍威风？”，高力士并不惧怕李辅国的威胁，对高力士来说，他这一生唯一在意的事情就是把唐玄宗服侍好，他从十几岁就跟着唐玄宗，两人的情谊已经超越了一般的主仆。他看了看几百个带刀的侍卫，明白这是唐玄宗恐惧的来源。对于经常血雨腥风的老李家，唐玄宗是不会怀疑出现任何宫廷政变的。 高力士对士兵们喊话：“ 诸位将士，太上皇有诰命，说大家辛苦了！你们在太上皇面前拔刀拦路，难道不怕犯法吗？”，太上皇虽然成了没牙的老虎，但老虎余威尚在，大家也不敢造次，赶紧把刀插进刀鞘，跪在地上高喊万岁。 唐玄宗稍稍镇定下来，却也知道自己大势已去，不禁悲从心来，记得自己在四川生活的时候，至少逍遥自在，然而唐肃宗平定了安史之乱，就赶紧把唐玄宗接回来，就怕被世人说自己不孝顺，如今人在宫中身不由己，凡事都需要听唐肃宗的安排。唐玄宗再一次感叹失去了权力，果然是人在屋檐下不得不低头。他知道这一切肯定都是李辅国在从中作梗。 唐肃宗总担心自己父亲东山再起，善于揣摩上意的李辅国在不久前提出不如让太上皇迁居太极宫，太极宫处于深宫，与世隔绝，不像兴庆宫建于市井繁华处，住在太极宫就像是被软禁，自然可以让唐肃宗再无后顾之忧。唐肃宗表面不同意，然而服侍唐肃宗已久的李辅国知道唐肃宗此时的不同意就是同意，他很快牵走了唐玄宗养在兴庆宫的290匹马，只给唐玄宗留下了10匹，随后又带几百名带刀侍卫去请唐玄宗搬家。 唐玄宗和高力士刚到太极宫，唐玄宗就忍不住老泪纵横，哭着对高力士说道：“微将军，阿瞒已为兵死鬼矣！”将军是唐玄宗对高力士的称呼，阿瞒是唐玄宗的小名。没有高力士，唐玄宗猜想自己肯定已经成为刀下鬼了。坐在权力之巅五十年的帝王，很难不因为此时的窘迫而感到伤心。 唐玄宗没想到的更大的打击还在后面，李辅国深知唐玄宗离不开高力士，于是没多久就找借口把高力士流放到了湖南，在出发之前，高力士哀求能再见唐玄宗一面，却被无情拒绝，年事已高的高力士知道自己这一去很有可能再也没有机会见到唐玄宗。 一年后，唐玄宗在太极宫病逝，高力士遇上大赦天下，从湖南拼命往回赶，刚走到常德就听到唐玄宗的死讯，他顿觉天昏地旋，面朝北方失声痛哭，随后口吐鲜血而亡，高力士因为对唐玄宗的忠心耿耿而被葬在了唐玄宗的陵墓旁，有高力士在身旁，唐玄宗大概在地下也安心了。
