1950年，薛岳从海南逃到台湾后，与大多数大陆时期的高级将领一样被夺了军权，任命为“总统府”一级上将战略顾问，并无实质性工作可做。 此时的薛岳虽仍有效法岳飞之志，无奈事与愿违，终日只能赋闲在家，靠临摹岳飞字体抒发心中志向，以此聊以慰藉。赴台之后虽不至于像岳飞那样被冤致死，但由于曾致力反蒋，多次顶撞蒋介石，遭到蒋介石猜忌。 赴台之初，蒋介石在对大陆时期的重臣要员实行大夺权后，对其中一些人仍不能放心，这其中便包括薛岳。蒋介石担心薛岳与一贯反蒋的白崇禧暗中往来，与李宗仁有通讯联络，于1952年以其具有勾结“第三势力”嫌疑为名，对薛岳的住所进行了大搜查，除搜查所有家具外，还将地板全部挖开，同时被搜查的还有白崇禧。 薛、白二人忍不住打电话责问蒋经国。蒋经国说：“这不是我的意思，你打电话问总统好了。 二人又打电话给蒋介石，蒋介石回答说：“我知道这件事，我们对所有人都应该来一次这样的大搜查。”但这次只搜查了薛和白二人，以后也没有对其他人进行过此类搜查。 实际上，薛岳和白崇禧向来不合，根本不会和白崇禧“串通”什么。薛岳曾对家人说他最看不起的人就是白崇禧，因为白崇禧是败国民党之功臣。他还疑惑道：“不知道为什么大陆的杂志，称白健生(白崇禧)为小诸葛。” 被蒋介石搜查后不久，薛岳又因广东省主席任内有“大笔公款用项不明”，遭到一些立法委员的攻击。薛岳的意志因此愈发消沉，除了偶尔和杨森出门打猎外，基本都在家中学习国文。 薛岳和余汉谋、张发奎关系亲密，张发奎当时定居香港，每次来台湾，定会找薛岳聚一聚。 薛岳还有一个“真交情”，就是陈诚。1932年初薛岳屡屡反蒋失败，闲居九龙后，因陈诚向蒋介石举荐，才重新得到起用。抗战中，武汉沦陷后，陈诚又推荐薛岳任第九战区司令长官。 1966年，薛岳出任“光复大陆设计委员会”主任委员，其实是陈诚让与他的，此前薛岳为副职。 由于多年屡建战功，薛岳难免骄傲自负，从小开始的军旅生涯，也使他养成暴躁的脾气和喜好烟酒、赌博的习惯。 同时，他和大多数国民党要员一样，喜欢任用亲友、培植亲信。其弟薛仲述、薛叔达、薛季良均在他手下任职。其襟弟邱国维，内叔方学芬、方人矩等都曾在他左右担任过要职。 薛岳有过三次婚姻，大陆时期有两位明媒正娶的妻子。原配朱氏系乐昌县两江头颈石人，是民国时期乐昌县党部书记朱节山的大姐。朱氏出身乡下，没受过教育，也不曾生育。发迹后的薛岳没和朱氏离婚，而是把整个九峰老家都交由朱氏掌管。 薛岳的第二位妻子系民国时期乐昌县县长方彪之女，名方少文。方氏学识渊博，婚后跟随薛岳辗转各地战场，同时兼做秘书。解放前夕，方少文和部分子女移居香港，住在浅水湾的一栋别墅中，不久后离世。 1950年，薛岳与小他30岁的第三位妻子谭女士在台湾结婚，结婚一年后移居花莲港，过起不问世俗的清幽生活。 薛岳的晚年生活非常有规律，每天早晨4点多起床，洗漱完毕就出去运动。运动完，薛岳要洗个澡，之后开始练字、看书，下午需再睡半个钟头，起床后继续读书。 薛岳在饮食上没有忌口，但什么都不贪吃，点到为止，这或许是他长寿的小秘诀。 薛岳的清闲生活，一过就是近40年，其间蒋介石、蒋经国父子相继去世，而薛岳依旧健在。 1990年2月，台湾召开“第一届国民大会”第八次会议，选举正、副“总统”，国民党为收揽军系“国大”代表，保证选举的顺利进行，推94岁高龄的薛岳，让他担任开幕典礼的主席，主持开幕典礼。沉寂了多年的薛岳又意外地出现在公众面前。 但出乎预料的是，台湾民进党代表反对薛岳担当开幕典礼主席，为此大闹会场，使薛岳十分不快。选举顺利完成后，薛岳的历史使命就此结束，重归沉寂。 退逃台湾的几十年中，薛岳一直惦念远在大陆的家乡。 新中国成立后，人民政府拨款对薛岳九峰乡的故居进行了修葺，对其祖祠文物以及他在西石岩福地所建的“伯陵堂”等建筑物，都进行了妥善保管。乐昌的乡亲也曾多次寄信、寄照片、寄录像带，把乐昌的新面貌告诉给薛岳，还经常托归来乐昌探亲的台胞，向薛岳表示深情的问候，这些都让薛岳深受感动。 薛岳赴台后曾担任世界客属总会理事长，1992年11月，世界客属总会访问团访问乐昌，薛岳托其把一份珍贵的礼物一一“铜镜”，赠送给乐昌乡亲会。铜镜上镌刻着薛岳的亲笔题词：“桑梓情深、薛岳敬赠”。 赠礼仪式于1992年11月11日在乐昌宾馆举行，世界客属访问团团长、世界客属总会副理事长胡均发博士，亲自把铜镜递交给乐昌县县长。 访问团回到台湾后，胡均发博士亲登薛府，向薛岳报告到乐昌访问的盛况，转达乡亲们的问候，并呈送了访问团受到乐昌各界人士和乡亲欢迎的照片。薛岳耳闻目睹倍感亲切，并偕夫人谭女士与胡博士合影留念，以表示感激之情。 薛岳虽然晚年失志，但清闲的生活恰恰弥补了他早年征战沙场时的紧张生活。1998年5月，薛岳在台湾病逝，终年102岁。
