自1949年抵达台湾，杨森虽获“战略顾问”的虚衔，却没有丝毫实权，一举一动，都处于保密局的暗中监视之下。只因儿子杨汉烈大陆起义一事，流言四起，不少同僚暗中非议，蒋介石对他始终心存戒备，态度不冷不热。

深谙乱世自保之道的杨森，刻意收敛锋芒。他深居简出，极少赴各类宴会应酬，在家中打拳、消遣，对外塑造出一位不问政事、安于养老的闲散老者形象。

1950年春，迫于身份，他不得不出席“国代”集会，当众发表坚持反攻大陆的演说。会后胡宗南私下向他打探杨汉烈的近况，一句问话，再次撕开他内心难以愈合的伤疤。回到家中，杨森独自翻看旧相册，看着儿子幼年骑马的照片，长久默然。

他将四箱黄金拆分三份，分别存入银行保险柜、家中暗格、香港汇丰，狡兔三窟，以备不时之需。之后，拿出一部分资产，为几位姨太太购置房产，让她们独立居住。1954年台湾大规模裁撤退役旧将领，杨森被正式准予退役，微薄的退役费，让昔日四川叱咤风云的军阀，倍感落寞。

此后数十年，杨森坚持早起锻炼，作息规律，身体硬朗，高寿一年年延续。可漫长的孤岛岁月，孤独如影随形。故人、妻妾、旧部相继离世，子女四散海外，偌大宅院，日渐冷清。午夜梦回，重庆的浓雾、嘉陵江水，时常闯入梦境，醒来只剩无尽怅惘。他只能在漫长孤寂的时光里，默默等候未知的结局，远隔海峡，再也得不到大陆那边儿子的半点音讯。