抗战胜利之初，刘乙光以为蒋介石可能会释放张学良，对他和赵四小姐的态度显得特别恭敬。后来，见老蒋根本就无还张学良自由的意思，对他们的态度便渐趋恶劣。 上世纪30年代，九一八事变后，张学良染上了严重的鸦片瘾。根据张学良的部下王卓然的回忆，他每日需要注射超过400针才能满足毒瘾。王卓然曾描述，这400多针的药物量非常巨大，医生曾说，如果将这些药物注射到一个健康人身上，每次注射10针就足以致命或导致重病，足见张学良毒瘾的严重程度。宋子文也看在眼里，心中难过，他知道，张学良的毒瘾加重，与九一八事变后背负的骂名息息相关。张学良可能是在用毒品来缓解自己内心的抑郁与痛苦。 在热河战役中，张学良为了洗刷“不抵抗将军”的骂名，投入了全力，但最终遭遇了惨败，这使得他不得不辞去职务，成为一生的耻辱。战后，宋子文曾在一次谈话中劝诫即将流亡国外的张学良：“汉卿，出国之前，我劝你一定要戒除毒瘾，这不仅是为了你本人的健康，而且也关系到国家的体面观瞻！你不要忘了，日本人叫我们是东亚病夫啊！”宋子文说这话时，张学良愣住了。国家的尊严对他来说重于一切，听到这些话后，他开始意识到戒毒不仅是为了自己，也是为了国家的形象和人格。 1946年11月，张学良被囚禁的第十个年头来临。当时他以为即将获得自由，然而他却被秘密押解到台湾。直到飞机降落在松山机场时，他才意识到自己将被囚禁在远离大陆的台湾岛上，彻底失去了逃脱的希望。此时他并未意识到，这次离开大陆将是他一生一世的告别。 一个寒冷的冬日午后，位于偏僻山区的看守所内，餐厅里充斥着令人不适的喧闹声。这是张学良将军和赵四小姐日常用餐的场所，此时却显得格外拥挤。刘乙光一家七口挤坐在不大的餐桌旁，几个年幼的孩子吵闹不休，碗筷相碰的声响不绝于耳。这样的场景，在过去几个月里几乎每天都在上演。 张学良将军的双手握着筷子，却迟迟没有动作。他的目光落在桌上那几道本应属于他和赵四小姐的菜肴上，此刻却被刘家人毫不客气地夹食着。看守所的日常供给本就不算丰盛，宋美龄夫人和张学良的亲友们时常托人送来一些衣物和食品，但这些东西往往会在刘乙光手中消失不见。 餐桌上的氛围愈发紧张。刘乙光的妻子似乎特别热衷于当着张学良和赵四小姐的面教训自己的孩子。她的话语表面上是对着孩子说的，实则句句带刺，明显是在影射赵四小姐。每当这时，赵四小姐总是低着头，默默地用餐。 回望抗战胜利之初，刘乙光对张学良和赵四小姐的态度却是截然不同的。那时的刘乙光刚被任命为看守专员，在接任职务的第一周，刘乙光就主动安排人手粉刷了张学良的居室，还特意添置了一些新的家具。他认为，随着抗战胜利，国民政府或许会对张学良采取新的态度。 转机出现在一次上级视察之后。刘乙光陪同上级官员巡视完看守所，随后被叫去进行了一次长谈。那次谈话的具体内容无人得知，但从那以后，他渐渐意识到，蒋介石对张学良的态度始终如一，并无释放的打算。 于凤至曾回忆，张学良白天强装镇定，面对周围的监视者应付自如，但到了晚上，他常常在卧室里流泪，并默诵匈牙利诗人裴多菲·山多尔的名句：“生命诚可贵，爱情价更高，若为自由故，两者皆可抛。”这些诗句深刻表达了他对自由的渴望与对困境的无奈。于凤至曾多次劝他不要放弃生命，要活下去，不仅是对自己的未来负责，也对得起曾经的东北军和已故的父亲张作霖。 那时，他体型变得臃肿，头发逐渐秃顶。无论是什么季节，他几乎从未穿过正装。随着刘乙光占据了雅间，他和于凤至只能住进光线昏暗的小房间。尽管如此，张学良养成了每日手不释卷的习惯，哪怕环境不佳，光线不足，他仍然坚持看书。长时间在暗处阅读，导致他本已不好的视力进一步恶化。 1947年初，张学良写信给大姐张首芳，托她帮助购买《明史》。他特别叮嘱：“一定要好版，大字就可以，我是很需要，等着看……”当张首芳读到这封信时，她泪如雨下，心痛不已：“弟弟才40多岁，怎么就眼花得看书也要大字本了呢？”她一边抹泪，一边愤怒地骂道：“这个老蒋，心太狠毒了。”除了眼睛，张学良的身体健康也逐渐恶化。 1957年初，张学良根据蒋介石的指示开始撰写回忆录，书名为《杂忆随感漫录》。他在交稿时表示自己并不满意，请求蒋介石修改。蒋介石在阅读后高度评价了这本回忆录，并亲自对稿件进行了修改，要求张学良重新抄写一份。 1959年7月25日，张学良与宋美龄进行了长谈。宋美龄在谈话中说道：“你的问题，时间还要久啦。须要有忍耐。我一切都是上帝的安排，愿多作祷告。”此后，张学良不再抱有恢复自由的幻想，也停止了回忆录的写作。1964年7月1日，台北的一本杂志刊登了署名张学良的《西安事变忏悔录摘要》。张学良看到后立刻给蒋介石写信，声明这篇文章并非他所发表，并且声明“谁发表谁的责任”。蒋介石因此非常生气，这本杂志随即被查禁。
