胡适在台湾最后几年的生活很不开心，在他来到台湾一个月后，他听闻了自己小儿子胡思壮的离世消息，白发人送黑发人，或许这是胡适悲伤的开始。
除了健康和经济，最让胡适感到困扰的是，社会上的很多事，他都被牵扯进去。胡适回到台湾的第二天，有人就送他一本《胡适与国运》的小册子。这本书有四篇文章，用“学术研究”的名义，对胡适进行辱骂和攻击。有的文章说胡适想当领袖，他的公式是：理想的胡说的领袖=无智+无能+无为+外国大学生=胡适。有的攻击胡适当年打孔家店“是攻破民族精神堡垒”，有的说胡适当年反孔，反文言文，把大陆的人心搞乱，为共产党铺路，所以国民党被撵到了台湾。文章建议把胡适空投到大陆，去“祸害”大陆的人。台湾当局一边明令查禁小册子，一边又允许小册子大量公开出售，每册定价五元，给了胡适一个下马威。
胡适不赞成蒋介石连任，他让总统府秘书张群向蒋介石转达自己的意见，希望蒋介石“明白表示尊重宪法，不做第三任总统”。但蒋介石不想退位，1959年年底，有人提出“修改临时条款”案，为蒋介石的三连任制造舆论，当局派人劝告胡适不要反对，胡适只好妥协。1960年2月20日，国民大会第三次会议在台北召开，胡适出席了会议，还当了大会主席团主席，见证蒋介石成功的三连任。有人来问胡适有什么意见，连任三任是不是蒋介石的意思？胡适说，如果不是他自己的意思，我想人家不会这样做的。
总统连任事件前后，是组织新党的事件；接着是雷震被捕判刑14年的事件。这一系列事件引起的风暴，和随后的各种余波，把胡适在台湾过安静生活，偿清笔债的计划彻底搅乱，搞得他坐卧不安，应接不暇。
1960年9月，胡适的好友《自由中国》杂志负责人雷震被捕，当局以“煽动叛乱罪”判处他10年的徒刑。胡适通过报纸公开声援雷震，通过他人求情，当面向蒋介石陈述，又联合其他45位知名人士上书要求特赦，却没有任何效果。胡适非常失望，连日在家，打纸牌解闷。友人拜访胡适，说起雷震案，胡适的脸色非常痛苦，沉默不语，他病了56天。警察派人在胡适的门口蹲守，对来访的客人进行盘查，这让胡适很无奈，他只好向警察承诺，让来访的客人自行登记，以便警察检查，一直持续到了胡适去世为止。
在总统连任事件前后，又有组织新党的事件；接着又有雷震被捕判刑14年的事件。这一连串事端所引起的风暴，以及间接由此而发生的许多小漩涡，把一个想在台湾过安静生活，想以余年偿清笔债的老胡适，几乎是弄得坐卧不安，透不过气来了。笔债无法偿，“民主自由”也难谈，胡适便只好“容忍”，谈“容忍比自由更重要”，“容忍是自由的根本”！而且说，他的提倡容忍，“不仅是对压迫言论自由的人说的，也是对我们主持言论的人自己说的”。实际上，他的重点是希望“拿笔杆写文章的朋友”，要存一种“容忍的态度”。据他说，拿笔杆的人，虽然受到种种“不合理的压迫”，甚至于“围剿”，但也还是“有权有势的人”，因而“绝对不可以滥用我们的权利”。谈“言论自由”谈到了这样的程度，胡适的心境该是何等凄凉，何等悲哀啊！
1961年2月，胡适又因心脏病发作，住了两个月医院。逐渐脱离危险后，到4月便勉强出院；因南港附近没有医院，只好暂借福州街26号台大招待所房屋，疗养了两个月。7月间又患急性肠炎，大闹水泻。真是多灾多病，衰老不堪了。10月间，夫人江冬秀从美国回来，家人团聚，孤苦伶仃三年半的老胡适，毕竟也稍添些慰安。
1961年11月，胡适在《科学发展所需要的社会改革》的演讲中，颂扬西方的现代文明，攻击东方古老的文明。他的行为引起了轩然大波，学者徐复观教授发表文章《东方人的耻辱，中国人的耻辱》，说胡适“是一个作自渎行为的最下贱的中国人”。其他报章杂志也开始否定和攻击胡适，“是文化买办在洋大人面前讨好的表现”。一时攻击批判的文章满天飞，还有人在台湾的“立法院”提出质询。
看重这些文章，胡适非常气愤，他脸色苍白，用笔把批评他的文字画出来，因为这件事，胡适的心脏病发作，再一次住进医院。这次文化围剿，对他是致命的打击。1962年2月24日，胡适主持“中央研究院”的院士会议，有人说起了这次的围剿事件，会场的气氛很尴尬。胡适强颜欢笑地说：“我去年说了二十五分钟的话，引起了‘围剿’，不要去管他，那是小事体，小事体。我挨了40年的骂，从来不生气，并且欢迎之至。”胡适越说越激动，他感到很不舒服，但在众人面前，他还勉强支撑着。开完会后，举行酒会，胡适的兴致不错。酒会结束后，他强打精神和与来宾记者们寒暄送行，终于脸色突变，身子摇晃，猛地倒在地上。胡适口吐白沫，昏迷过去，医生的急救也没能挽救他，胡适最终因心脏病的突发而去世。因此，很多人说胡适是被气死的。
胡适因心脏病发作台北逝世，这个消息不仅震惊了蒋介石，也震惊了世人。蒋介石听到胡适暴毙时写下日记：“晚，闻胡适心脏病暴卒。”按照胡适的遗嘱，他遗产分成了三份：妻子江冬秀一份，长子胡祖望一份，次子胡思杜一份。胡适到死也不相信，他的小儿子胡思杜在5年前已经自杀身亡了。胡适的生前还立下了英文的遗嘱，把他离开北平时候，留在北大图书馆保管的一百零二箱书籍和文件，全部遗赠给北京大学，再次表达他对北大的思念。
胡适去世后，蒋介石送给胡适的挽联是：“新文化中旧道德的楷模，旧伦理中新思想的师表”。
台北的“北京大学同学会”送给胡适的挽联是：“生为学术，死为学术，自古大儒能有几？乐以天下，忧以天下，至今国士已无双”。
胡适的墓碑是原北大图书馆馆长毛子水的手笔：“这是胡先生的墓。这个为学术和文化的进步，为思想和言论的自由，为民族的尊荣，为人类的幸福而苦心焦虑，敝精劳神以致身死的人，现在，在这里安息了！”
胡适突发心脏病去世后，江冬秀一个人平静地活到八十五岁，在台湾无疾而终。