閻錫山是山西的土皇帝，他在山西執政38年，這期間興辦教育，發展軍事，將山西打造成了一個非常堅固的鐵樓。但是後來新中國成立，閻錫山還是失敗了。閻錫山無奈之下只好接受了這個事實。對於閻錫山來說拿得起放得下是他的座右銘。

1949年12月8日，閻錫山最終還是離開了大陸，乘坐飛機前往臺灣，開啟了在臺灣最後10年的生活，最終未能葉落歸根。閻錫山剛到臺灣時，頗有“捲土重來”的想法，但隨著遠離政治，最終還回歸到了一個老人的生活。

在臺灣，閻錫山很快就被邊緣化了。時任閻錫山侍衛的張日明說，“一開始，他們蓋的房子是木板牆和石棉瓦頂。這些生於山西，長於山西的人哪裡見識過風急雨驟的颱風？颱風一來，石棉瓦就被吹飛了，他們就接著在屋頂上面鋪草，結果颱風又來了，草頂也不見了。”

閻錫山因為懷念故鄉山西，將屋子的門窗砌成家鄉窯洞的形狀，也曾嘗試建築窯洞，不過臺灣的土質與氣候都不適合，最後只得作罷。為了改善生活，閻錫山和部下在山上養豬養雞耕地，後來還在山上開荒栽橘樹。後來為了替大家張羅生計，他還曾開過印刷廠，但終因養不起這麼多人，很多老部屬慢慢地離開了。

他本來在臺北鬧市區有一座閻公館，但他硬是不住，給蔣介石造成山野隱居不問世事的假象，以此來保護自己。最終在1960年5月23日，帶著不甘離開了人世，享年77歲。在他的追悼會上，蔣介石也親自去了，還送了一塊匾，上寫“愴懷耆勳”，可惜，這些閻錫山都看不到了。