1949年5月27日，上海解放。战前，汤恩伯吹嘘防线“固若金汤，至少坚守3个月”，但仅仅16天就土崩瓦解。这引起了逃台的国民政府军政人员们的非议，为了弄清原委，蒋介石指示陈诚在台北主持召开一次上海防卫战失败检讨会。 1949年7月2日，检讨会在台北一所宾馆举行。出席会议的有在台的军政大员以及参加过上海之战败逃来台的师级以上将领，汤恩伯在会上做了情况报告。 汤恩伯做完报告后，轮到其他人发言时，一些高级将领都把矛头指向汤恩伯。原第37军军长罗泽闿，他的部队驻扎在浦东，条件最差。在汤恩伯下令各部队撤退时，唯独不通知罗泽闿的37军。导致37军全部被歼，罗泽闿和副军长王大钧等少数人化装成平民才逃了出去。原37军副军长王大钧在随后的发言中，对汤恩伯也作了诸多抨击。 散会后，汤恩伯走出会议室时，一直低头不语。回家后，汤恩伯大发牢骚说：“国军在大陆打了那么多败仗，死伤的人比上海防卫战要多得多。为什么一次检讨会也没有开，而独开上海防卫战的检讨会？” 汤恩伯心里很清楚，他今后在台湾的处境肯定会越来越艰难。后来，罗泽闿见一直未处分汤恩伯，就到军事法庭告状。蒋介石觉得不妥，指示陈诚劝罗泽闿撤回状纸，并私下告诉罗泽闿，开检讨会其实就是批判汤恩伯，没必要再纠缠。 之后，在如何处理陈仪的问题上，汤恩伯又再次激怒了蒋介石。 1949年初，浙江省主席陈仪到上海策动汤恩伯率部起义。汤恩伯早年到日本士官学校留学的名额是陈仪争取的，费用也由陈仪资助。为感激陈仪，汤改名“恩伯”，并拜陈仪为“义父”、“恩师”。 陈仪将自己的想法告诉汤恩伯后，汤恩伯表面答应，背后却将自己的恩师出卖了。2月21日，蒋介石下令逮捕陈仪。 据汤恩伯后来讲，他接到命令时，曾向蒋介石提出条件，不能处死陈仪，蒋介石答应了。但1950年6月，蒋介石违背诺言，决定处决被押送到台湾的陈仪。 为救陈仪，汤恩伯几次托人求情，但四处碰壁。蒋介石不但不见汤恩伯，还要他亲自处决陈仪，以此来检验他是不是真正的“大义灭亲”，但汤恩伯坚决不干。1950年6月18日，陈仪被枪杀于台北马场町。 陈仪被杀后，蒋介石就更加不喜欢汤恩伯了。陈仪之死及此后不再受重用。对汤恩伯刺激很大，他感到无脸见亲友，便想到日本去度过余生。 早在上海之战的时候，汤恩伯就在做逃往日本的准备。据谷正纲等人透露，那时，汤恩伯知道守不住上海，便将其亲信王文成、龙佐良偷偷派往日本，为其寻找避难所。 1949年5月6日，汤恩伯令亲信秘密将50万美元军费汇到美国一个朋友的账户上，再由这位朋友将钱转汇给日本的王文成、龙佐良处。 王文成、龙佐良对汤恩伯倒也算是忠心，两人到日本后，四处打听一门心思为汤恩伯寻找退路。1949年7月，两人花钱在日本东京近郊给汤恩伯买了一栋有22间房间的大宅子。 世上没有不透风的墙，汤恩伯在日本买房子一事，最终还是走漏了消息。1950年2月2日。路透社从东京发出一条新闻，标题非常震撼，称:“蒋介石透过一个高层官员在日本东京近郊购豪宅”。 此事蒋介石也属于躺枪，所以得知这个消息后大发雷霆，骂道:“怪不得上海和东南沿海败得那么快。原来他（汤恩伯）早作了逃往日本的准备！” 1950年3月，汤恩伯以招募日籍志愿军为由，决定去日本。汤恩伯上飞机后。机上验票人员要他出示赴日证件。汤恩伯声称是受委派到日本执行特殊任务，未办签证。机上工作人员要他下飞机，他坚决不下，并与工作人员发生激烈争吵。 此事马上被蒋介石得知，他判断汤恩伯想逃往日本，于是下令阻止，几个接到命令的宪兵强行将汤恩伯拉下了飞机。 汤恩伯在台不受重用，赴日又未成功。思想包袱十分沉重。1953年9月12日，是汤恩伯的53岁生日，他原计划请几桌客，后来考虑再三还是取消了。由于长期生气，导致汤恩伯身体消瘦，去医院检查后医生说他胃部和肝部有问题。 后来，汤恩伯再次申请去日本治病。蒋介石讽刺说:“有大过的人，还要到日本去治病！”随后，在汤恩伯的申请报告上签了“就地医治”4个字。 1953年10月2日，汤恩伯的好友雷震动员他住院。汤恩伯愤愤地说：“我的病在台湾治不好，住院也无益。要治病，只有到国外。我申请到日本治病，总裁又不同意，没有办法，只有等着死！” 1954年4月，汤恩伯突感腹部疼痛，医生发现他的十二指肠部有一个肿瘤，判断可能是癌症，建议他到国外做手术。汤恩伯的家人立即给“总统府”打报告，蒋介石这次总算是同意了。 1954年5月26日晚，汤恩伯在家人的护送下，搭乘航班机去日本东京。汤恩伯—下飞机，就被送往庆应义塾大学医院。汤恩伯做手术时，因失血过多，死在手术台上，终年54岁。 蒋介石得知汤恩伯死了，反应冷淡，只说了一句:“死了也好。”汤恩伯死后被追赠为陆军二级上将， 何应钦、陈良、胡宗南、蒋经国为其送葬，倒也算得上是极尽哀荣了。
