1950年3月26日，解放军的先头部队逼近西昌机场，胡宗南和西康省主席贺国光等人乘飞机仓惶逃往台湾省。失败的阴影，前途的渺茫，让胡宗南的心情极为低落。有一天，他走过花莲体育馆，来到海边，突然对身边曾经的部下孔令晟说:“我们不应该到这里来。”当年这个曾统帅50万大军的战区长官，如今身边只剩下了6名随从。 到台并不意味着安全，1950年5月，45名“监察委员”联名弹劾胡宗南。这一篇弹劾文列举了胡宗南进驻陕甘后的权力膨胀，历数了他在西北、四川的一连串败绩，认为国民政府之所以会失败，胡宗南“应负重大之罪责”。 来台的胡宗南旧部愤愤不平，要到“监察院”去闹事，都被胡宗南压了下来。昔日不可一世的“天之第一门生”胡宗南，表现出了少有的镇静，最终，在蒋介石的袒护下，这一场弹劾案不了了之。但是，经历了这一场风波后，胡宗南“西北王”的历史彻底画上了句号。 1953年6月，已经58岁的胡宗南奉命进入“国防大学”学习，这也意味着他不再有兵权，这次解甲入学，胡宗南倒是学习的很认真，他戴着老花镜，捧着书本仔细的研读。到了第二年2月，胡宗南从“国防大学”毕业，但是却未被安排职务，他只得赋闲在家。 1955年8月，蒋介石忽然要召见胡宗南，这让胡颇感意外。见面后，蒋询问了胡宗南近来读书的情况，然后说：“澎湖防守一直薄弱，派你到澎湖去任防守司令，你有没有意见？” 胡宗南早在1945年10月就已经是中将加上将衔了，来台这几年，没有给他一官半职，而如今他已经60岁了，以上将军衔远赴澎湖任一个小小“防守司令官”，蒋确实也感到有些对不住这个学生，如果胡宗南实在不愿意，蒋也打算另派他人。 谁知胡宗南听完蒋介石的问话，起立答道：“我马上到任，请总统放心。”胡的回答让蒋非常满意，这个学生能力如何暂且不说，至少在忠心这一点上是没有问题的。 胡宗南去澎湖不久，就发生了一件被军界传为笑谈的事情。有一次，“国防部参谋总长”彭孟缉坐飞机到澎湖巡视。飞机停稳后，彭孟缉正要下机，随行人员报告说：“澎湖防守司令官胡宗南，亲临机场，正在下面迎候。” 彭孟缉虽然官至“参谋总长”，但在胡宗南面前，他还是个后辈学生。彭孟缉的脚已经跨出机舱门，听了报告，忙缩了回去，叫随从人员劝胡宗南回去。说是胡宗南回去了，彭孟缉才敢下飞机。 但胡宗南对随从说“我是以澎湖防守司令长官的身份，来迎接参谋总长的，不必客气和谦让。” 彭孟缉不答应，说什么也不肯下飞机，两人僵持了很久。 胡宗南一直等在飞机下，不愿离开。彭孟缉没有办法，只得下去了。机场上，彭孟缉流着眼泪，拥抱了胡宗南，十分感激他的豁达超然。 1959年10月，胡宗南从澎湖离职回到台北，担任“上将战略顾问”，之后，蒋又要胡宗南去“国防研究院”学习，胡宗南在研究院学习了8个月后期满毕业。 胡宗南满以为毕业后，会对他有一些实质性的安排，他在家一直等着消息，一个月过去了，没有任何动静。又过了一段时间，胡宗南接到“国防部”通知，让他担任“国防研究院毕业同学会会长”“国防研究院院务委员”等职。明眼人一看都知道，这些都是挂名的闲职。自此以后，胡宗南深居简出，郁郁寡欢。 1961年冬，“战略顾问委员会”在台北介寿馆四楼开会，请胡宗南参加。胡宗南来到介寿馆，拾级而上，爬到二楼就气喘吁吁体疲力乏，再也上不去了。胡宗南临时找了个人，请他到四楼帮忙请个假，自己打道回府了。 这一年的除夕之夜，胡宗南一家6口团聚一堂。这是来台后，胡宗南最为高兴的一个除夕夜，也是他与夫人和孩子们度过的最后一个春节。过年的几天，家里人来客往，胡宗南也乘兴前往多年没有走动的老朋友家里拜年问候。 到了正月初三，胡宗南觉得身体坚持不住了，便请大夫到家里诊治。医生发现胡宗南心脏不太正常，急忙将他送进了荣民总医院。正月初七，蒋介石亲临医院探视，胡宗南见到昔日的校长亲临，激动的热泪盈眶，过去一些不愉快事情，就此烟消云散了 经过一段时间的诊治，胡宗南的病情看起来已经了好转，医生对叶霞翟说：“胡上将的身体正在恢复之中，过几天就可以出院了。” 1962年2月13日，胡宗南精神很好，当天晚上还吃了半个苹果，与叶霞翟聊了一会儿家常，然后入睡。次日凌晨3时多，胡宗南突然惊叫数声，一手高举，便昏迷过去。医生急忙抢救，叶霞翟闻讯急率子女从家中赶来。 此时胡宗南已不能言语，进入弥留状态，不久之后心脏便停止跳动，年67岁。
