1950年3月，胡宗南黯然来到台湾，暂且安身在花莲。这时，当年曾统帅40万大军的他，身边只剩下了6名随从。
失败的阴影，前途的渺茫，都让胡宗南的心情极为低落。到花莲后，他时或出去散心，他在王曲军校的学生孔令晟则伴随着他。有一天，胡宗南走过花莲体育馆，来到海边，“突然”对孔令晟说：“我们应该在什么地方自杀啊？这里真没有意思啊！”
孔令晟回答：“要自杀，不如在成都，可以跟我们的部队一起自杀;到了西昌就没什么意思了，部队已经没有几个人了。”
在此时的台湾，不仅仅是胡宗南一个人感到“没有意思”，与他处于相似境地的还有阎锡山、白崇禧、汤恩伯、孙立人、薛岳……时任“代总统”的李宗仁虽然没有和他们一样去台湾，而是去了美国，但境遇的落寞则是一致。当年手握重兵的他们，如今不但成了败军之将，失去了叱咤风云的舞台，甚至还会面临来自国民党内部的人身威胁。
不过，虽然他们所处的环境差不了多少，但各人的反应却是不同，有的从容处之，有的却局促不安。
“我们不应该到这里来”
在花莲，当自杀的念头闪过后，胡宗南对他的部下说：“我们不应该到这里来。”此时，面对浩瀚的太平洋，他仍对自己的部队念念不忘。在他的第一军中，许多将官都是他一手从王曲军校带出来的，而这些人大都已在川西零落殆尽。
根据王曲军校学生徐枕的说法，胡宗南原本是打算留在西昌的，当时蒋介石让他飞往台湾，但是他不肯走，而是对部下说：“今天我跟你们喝一杯，送你们走。”最终，胡宗南是被部下“拉”上飞机的。
然而到了台湾，他的厄运并没有结束。刚刚飞到台湾时，蒋介石和陈诚都没有见他，到了花莲，也没有人来看望他。不仅仅如此，失去了部队的他，现在甚至要为整个国民党政府的失败负责。
胡宗南1950年5月，台北“监察院”内，45名“监察委员”气势汹汹地联名弹劾胡宗南。这一篇洋洋数千言的弹劾文在列举了胡宗南进驻陕甘后的权力膨胀后，又历数了他在西北、四川的一连串败绩，认为国民党政府之所以会“失去大陆江山”，胡宗南“应负重大之罪责”。
这一场弹劾案迅速在小小的台湾掀起轩然大波，来台的胡宗南部属愤愤不平，要到“监察院”去闹事，但都被胡宗南压了下来，他认为，是非自然会有公论，“假如应该我负的责，我当然要负责。”
领军多年的胡宗南，在这个时候表现出了常人少有的镇静。最终，这一场弹劾案在各方面的斡旋下不了了之，使胡宗南避免了“军法会审”。
但是，经历了这一场风波后，胡宗南那“西北王”的历史也彻底划上了句号。正如他认为国民党之败不属个人责任，而是整个体系的失败一样，蒋介石也是这么认为的。于是，败退到台湾后的蒋介石迅速对国民党展开了“改造”，全面更换旧的党政系统，原有的黄埔、中统、CC、政学系等皆被清除，一批完全拥护蒋介石、蒋经国父子的新实力派被培养起来，这其中最为得力者即为陈诚的“土木系”。
年胡宗南过世，蒋介石出席其葬礼那些国民党的“老人”们，则在这一场“改造”后几乎全部失势。胡宗南再也得不到蒋介石的重用，只一度担任了大陈岛“浙江反共救国军”总指挥和澎湖防卫司令等职。虽然职位并不突出，但是胡宗南做得很认真，并短暂登上大陆的土地。
但是胡宗南和他的家眷、部属是再也没有机会真正回到大陆了。在担任澎湖防卫司令时，每次领到薪水，他只留1/3给自己和家人，其余的几乎都给了部属，以维持他们的生计。后来其部属王应文的儿子回忆说，那时有人到胡宗南家里去，坐沙发都要小心，因为“那个沙发太旧太烂，一不小心会给他坐摇晃”。
1962年，胡宗南66岁，这一年春节期间，他因心脏病发作，病逝于台北荣民总医院。他的王曲部属们，则每年为他举行低调的纪念仪式。
