1949年12月9日，自知回天乏术的阎锡山去了台湾，开始了在台湾的最后10年生活。常言道，人在屋檐下不得不低头，来到台湾的阎锡山再也没了之前的威风，很快彻底告别了政坛。
正所谓无官一身轻，告别官场后，阎锡山带着几名贴身侍卫搬到了台北市郊阳明山附近的菁山。当时的菁山非常落后，原是日据时代没有坚持的一处农场，这里既没有电，也没有自来水，距离最近的马路都要步行半个小时。
侍卫们实在看不去了，都建议阎锡山选择一处交通便利之处居住，可阎锡山坚持己见。没有房屋，就自己修建，刚开始是茅草屋，后来改为砖石房屋；没有自来水，就挖水井；没有蔬菜，就自己开辟菜园。
阎锡山在日记中对最初的生活环境做了描述，“其地为废耕之茶园，杂草及胸，道路坎坷，无电灯电话，饮用山泉，距山仔后公路步行三十分钟，建筑茅屋，从事著述，人以‘菁山草芦’名之。”远离闹市，加上离开了政坛，来访客人更是寥寥无几。
阎锡山把所有的精力都放在了著书上面，为此留下近百万的文字。晚年的阎锡山坚持“世界大同”的宇宙观，他认为“一个人在为人处世，都需要发于仁，归于中。发心是仁，但仁心要合于中道，不可偏斜。心中有仁爱，不要有什么偏向不要脱离。仁慈善良的心，落脚点要变为一个世人所共同接受，服务大众的一个公正公平的格局，这是非常有意义的。”
也许早已看淡了一切，阎锡山对生活要求也很低，一日三餐以馒头青菜为主，偶尔加个鸡蛋补充营养。其实阎锡山去台湾时，带了足够的黄金，完全可以过着比较奢华的生活，可他没有因此挥霍无度。
也许是过于思念家乡，他后来把房屋修建成山西窑洞的模样，命名“种能洞”。1960年5月23日，阎锡山在台北病死，终年78岁。
