他虽然隐居菁山、闭门写书，表面上似乎看破政治，远离尘世，实际上，他参与政治的欲火并没熄灭，他是一个不甘寂寞的人。
他病重期间，以悲哀的语调说：“我不能随蒋公回大陆去了，这是我深感遗憾的。”
蒋介石一手策划排除阎锡山职权
1949年12月7日，这是成都一个少有的寒冷天，空旷的成都机场上更是冷风如刀，寒气逼人。从清晨起，机场各处戒备森严，秩序井然。早晨10点钟左右，几辆小车先后驶进机场，从车上下来一批国民党高级官员，他们簇拥着一个中等身材、有点肥胖的老人，这老人身穿黑色披风，头戴礼帽，眼中闪出威严的光芒，他就是赫赫有名的山西王，国民党行政院长阎锡山。
阎锡山自从在广州组阁、取代何应钦后，率领他的政府内阁从广州移到重庆，从重庆迁至成都，发誓要与人民解放军顽抗到底。可是时运不济，西南地区卢汉、刘文辉发动起义，倒戈投向共产党，现在，人民解放军已兵临成都城下，再要顽抗，只能是死路一条。阎锡山也顾不得当初的誓言，不再坚持死守成都，尽快逃往台湾，他终于面临了别离大陆的时刻。
六十七岁的阎锡山家乡观念很重，在别离大陆之际，他想多看看大陆的一切，但处于如此危急时刻，他不仅不能去老家山西五台县去看看，甚至连成都市的杜甫草堂、望江亭也没有时间去观赏了。他到飞机场后，急忙与送行的官员告别，匆匆钻进了机舱，飞机很快起飞，阎锡山只能在机舱俯视眼底山河。此去台湾，不知等待他的将是什么命运？
当时的台湾，犹如惊涛骇浪中的一叶孤舟，处于严重的危机与混乱之中。阎锡山到了台湾后，仍想拼死挣扎。他向蒋介石提出了“保卫台湾海南岛收复大陆计划方案”，方案却被蒋介石束之高阁。特别是阎锡山还想重温大陆的旧梦，他写信要李宗仁回台湾继续当总统，他好继续当行政院长。这就为蒋介石所嫉恨，决心将他赶下政治舞台。
此时，蒋介石正着力于将国民党党政军大权独揽手中，而阎锡山出任行政院长本是蒋介石与李宗仁矛盾的产物，蒋氏父子在台湾一手遮天，台湾的政治舞台已不能容忍李宗仁，阎锡山岂有立脚之地。
1950年1月，蒋介石一手策划成立了“国民党改造案研究小组”，把阎锡山排除在外，这就说明阎锡山将被挤出台湾的权力中心。
3月1日，蒋介石在宣布引退一年又两个月后，复行“总统”职权，宣布将重组政府，这无疑是向阎锡山发出了要其下台的敦促令。作为李宗仁代总统时代的行政院将被新政府所取代而成为历史，行政院长的宝座将易人。于是，识时务的阎锡山只好率全体行政院“阁员”向蒋介石提出总辞职，当即获得批准。
阎锡山辞职不久，蒋介石对人事安排做了重大调整。蒋的亲信陈诚被任命为行政院长，取代阎锡山；吴国桢被任命为台湾省主席；亲美派军人孙立人当上了陆军总司令；周至柔被任命为空军总司令；桂永清被任命为海军总司令。蒋介石还任命他的儿子蒋经国为国防部政治部主任，掌握“一切党政特务机构”。所有一切重要部门的职务，都与阎锡山无关，这样，阎锡山就无声地从台湾政治舞台上消失了。
为了安抚阎锡山，不致引起国民党其他“元老”太多的怨恨，1954年2月19日，在台湾召开的“国民大会”上，蒋介石虚情假意地表彰了阎锡山，他以十分感激的腔调说：“自三十八年底及三十九年初，赤焰滔天，挽救无术，人心迷惘，莫可究极，甚至敌骑未至，疆吏电降，其土崩瓦解之形成，不惟西南沦陷，无法避免，即台湾基地，亦将岌岌欲坠，不可终日……当此之时，中央政府幸有阎院长锡山，苦心孤诣，撑持危局，由重庆播迁成都，复由成都迁移台湾，继续至当年三月为止，政府统绪，赖以不坠者，阎院长之功实不可泯。”说完这番话，蒋介石将眼光转向在主席台上就座的阎锡山，频频微笑，向他表示致意。在蒋的示意下，台下也响起了一阵掌声。
“狡兔三窟”曾隐居石头窑洞
阎锡山并非是目光短浅之人，他靠自己的深谋远虑统治山西几十年。1949年，他从太原逃到南京时，就已断定这个政权不会长久，因此，他给自己的未来做了精心安排，他先将他的继母和二儿媳送到台湾，给他们一大笔钱，在台北设立了“阎公馆”；继而，让他的第四个儿子阎志敏远走美国，并带走大宗财产，在那里买下高级别墅；然后，又派他的亲戚徐士珙到日本，也给其大量资金，让其在东京营建新的巢穴。三个地方都作了准备，真可谓“狡兔三窟”。现在，阎锡山被免职的下场确是应验了当初的预料，他本来是准备在台湾长住下去的，但免职后，他考虑了很多，蒋介石既然不容他，台湾也决非久居之地，不如远走他国，去了却人生的最后岁月。于是，阎锡山便向蒋介石写了报告，说他身体有病，想出国治疗，提出了到日本或者美国的要求。
国民党一些元老大凡要出国，多是以病为由，如李宗仁、孔祥熙、宋子文等，一旦出去以后，便不再回来，且在海外互相联络，独成一体，甚至有的人还写文章、发表谈话，攻击与谩骂台湾政权。这一点，蒋介石甚为恼火。他不能放阎锡山出去，他知道阎锡山在罢免行政院长后满腹牢骚，只是在台湾不敢表露而已。一旦出去，又将是他的一个对头，这只虎不能放出去。因此，蒋介石没有批准阎锡山的出国报告。
蒋介石大权在手，阎锡山不敢碰硬，只好乖乖留下来，在台湾消磨多余的岁月。阎锡山本来在台北闹市区准备有豪华的公馆，但他不愿住在那里。为了避免经常见到那些上台的新贵，惹些不必要的麻烦，他搬到了市郊阳明山的菁山居住。那里虽然风景如画，环境幽静，空气清新，但地区偏僻，交通不便，而且连起码的现代生活设施如自来水、电灯、电话都没有。但阎锡山不管这些，硬是住了下来。为了适应环境，他叫人把房间用石头垒成西北地区的窑洞一样；没有电灯，就点煤油灯；没有自来水，就像当地山民一样，到涧边取水。堂堂国民党的行政院长，在下台后，就住在这石头窑洞中，像古代人一样，过起了“日出而作，日落而息”的周而复始的隐居生活。
阎锡山在菁山一住就是十年，这十年中，他起居很有规律。每天早晨7时起床。早餐后便开始写作；午饭后，休息两小时，然后会客、座谈、看书或思考；晚饭后，他喜欢一个人到野外散步，呼吸新鲜空气，欣赏阳明山暮色中绮丽的风光；回来后，便拿出一部《易经》来，慢慢阅读。岁去年来，逝者如斯，他长住在此，怡然自得。
十年时间中，阎锡山的主要工作是著书立说。这期间，他先后写作并出版了大量书籍。纵观那些书的内容，纷纭复杂，但只有一个中心思想，便是反共。阎锡山并没有从在大陆遭到的失败中找到人生的真谛，淡化其反共的意识；相反，他从反面去总结教训，更加顽固地坚持其反共立场，卖力地鼓吹反共的陈词滥调，在反共的道路上越走越远。
阎锡山虽然隐居菁山、闭门写书，表面上似乎看破政治，远离尘世，实际上，他参与政治的欲火并没熄灭，他是一个不甘寂寞的人。除了写书、在书中大谈政治外，他还常到台北一些机关、学校、团体，向公众发表反共演讲。他虽然年迈体衰，但只要有人邀请，他必去无疑，几乎每月都有十几次演讲，有时一天讲几次，真可谓不辞劳苦。
临终念念不忘山西老家风景
在写作与演讲之余，阎锡山还在他的寓所里接待各类人物。时常有很多人前去拜访，有亲朋故旧、政界显要、民意代表、军界首领、实业巨子、企业领袖、教授学者、神父牧师、新闻记者等。在与这些人的会谈中，他也不忘大搞反共宣传，不厌其烦地劝导别人去反共，企图以此博得蒋介石的好感。
阎锡山自认为是了不起的先哲仁人，但他不知道，他是逆历史潮流而动，终不过是一跳梁小丑。过度的劳累，使阎锡山的身体急剧垮了下来，体内各种疾病交替出现，而且日趋严重。他先患糖尿病，不久，又出现冠状动脉硬化，随后，又是心脏病，这诸多病症时刻困扰着他，威胁着他，使他不得安宁。再加上年龄一天天增大，各种器官日趋老化，身体的抵抗能力逐渐减弱。阎锡山已是日薄西山，“昏惨惨黄泉路近”。
1960年5月初，阎锡山突然发生腹泄，不久，腿部和脸部出现浮肿，他气喘吁吁，站立不稳，不能自持，常常要人扶着在沙发上坐一下，或者用小车推着在室外走一圈，自理能力一天天减弱。
阎锡山知道自己在这世上不会有太多的时间了，他常常望着窗外的山峦和树木出神，随从人员问他想什么，他长叹一声，感慨地说：“这阳明山比我们文山树多，风景好！”随从人员知道他说的文山，是他老家山西省五台县河边村的那个小山头，是啊，老人在想他的家乡，他已是十几年没回老家了。
“我们没有到过文山，文山一定好玩吧？”随从人员好奇地问。
“嗯，很好玩，山上有很多树，山下，滹沱河水缓缓流过，山水相映，也是很美的，当然，跟阳明山比，就差些了。唉，现在不知是什么模样了。算了，不谈这些了。”阎锡山叹了口气，又不说话了，依旧望着窗外的山峦与树木出神。见到亲人故友，阎锡山情绪十分低落，他以悲哀的语调说：“我不能随蒋公回大陆去了，这是我深感遗憾的。”
儿子、儿媳见此情状，都劝他安心养病，不必考虑太多，他说：“不是我考虑太多，我的病，我自己知道，我不会再活多久了。我死后，你们切记：第一，一切宜简，不宜奢；第二，收挽联不收挽幛；第三，灵前供无花之花木；第四，出殡以早为好；第五，不要放声而哭；第六，在墓碑上刻我写的思想日记第100段及第128段；第七，每日早晚各读我写的《补心录》一遍。”家人含泪答应。
5月21日，阎锡山因感风寒，患了感冒，早晨便卧床不起，左右扶他起床时，发现他的腿已完全不能站立，口中不能言语，手已麻木，连衣扣也不能扣上，头低垂，不能抬起，与前判若两人。由于离市区远，医治措施拖到了第二天。
5月22日，家人请来医生，经诊断后确定，阎锡山所患感冒已转成肺炎，情势严重，必须赶快送医院治疗。于是，家人迅速将阎锡山抬上救护车，准备送台北市台大医院诊治，但车行中途，阎锡山病情转危，不几分钟，便已昏迷。到台大医院后，虽经多方抢救，终因耽误太久，而无力回天，阎锡山最终死于台大医院，终年78岁。
阎锡山本来已被蒋介石忘掉，但现在人已死了，蒋介石还得装模作样表示一下，他派人送来了“怆怀耆勋”的匾额，以示哀悼。5月29日，阎锡山入殓时，蒋介石亲自致祭，言语动情，让人感动，似乎他与阎锡山从来是患难与共、生死相依的，他对阎锡山的死是真心痛悼。
阎锡山的灵柩埋葬在阳明山七星山南面一块坡地上，这里有山有水，绿树成荫，景色秀美，是山西五台县的文山所不及的。但阎锡山倘若地下有知，他还是不会满意，他倒是愿意长眠在他的家乡，与文山的轻风明月相伴，听滹沱河那潺潺的流水声。