汤恩伯申请去日本治病。蒋介石讽刺说：“有大过的人，还要到日本去治病!”随后，在汤恩伯的申请报告上签了“就地医治”4个字。
1953年10月2日，有人动员汤恩伯住院治疗。汤恩伯愤愤地说：“我的病在台湾治不好，住院也无益。要治病，只有到国外。我申请到日本治病，总裁又不同意，没有办法，只有等着死!”
1954年4月，汤恩伯突感腹部疼痛，医生发现他的十二指肠部有一个肿瘤，判断可能是癌症，建议他到国外做手术。汤恩伯的家人立即给“总统府”打报告。蒋介石同意了。
1954年5月26日晚，汤恩伯在家人的护送下，搭乘日航班机去日本东京。汤恩伯一下飞机，就被送往日本东京一家医院。 在日本，汤恩伯做了3次手术。在1954年6月24日的最后一次手术中，他因医疗事故死在了手术台上，终年54岁。
6月30日，台湾多家报纸刊登了汤恩伯在日本病死的消息。
蒋介石得知汤恩伯死了，反应冷淡，只说了一句：“死了也好。”蒋介石虽冷淡如此，最后还是追晋汤恩伯为陆军上将。
汤恩伯
个人家庭
汤恩伯祖父是汤李乾，祖母是群妹，父亲是武义县地主汤家彩，母亲是林秀凤。
汤恩伯第一任妻子是马阿谦，后汤恩伯给其300银元与之离婚，两人育有长子汤建元，第二任妻子是陈仪的义女王竟白，两人育有长女汤国梅、次女汤国兰、三女汤国芳、四女汤国丽和幼子汤建平。1950年陈仪被处决后，王竟白对汤恩伯产生怨恨，除四女汤国丽留在台湾外，与其余三女一子前往美国定居。
汤恩伯孙女有汤晓娟，另有胞弟汤恩华和侄子汤建宏。
个人轶事
汤恩伯将军作战时的指挥习惯颇有意思，他在任第31集团军总司令时，参谋长为宋涛，副参谋长万建藩。宋参谋长每天在汤恩伯总部管理大大小小的琐事，总部人员讥之为常务参谋长，万副参谋长平常不大到总部上班，一有战事，宋参谋长留守，万副参谋长则到总部指挥作战。汤恩伯在作战时，喜带参谋一人(带地图)，副官一人，短枪卫士七八人，电台一部，乘汽车一辆到前线找个军部住下，随军行动，对前线部队就近用有线电指挥，对总部用无线电指挥。汤恩伯往往亲自拟稿，交译电员译好发出，若交通困难则改骑马。
汤恩伯之喜怒无常有一趣事，1943年初汤恩伯到安徽省临泉县巡视，当地请汤恩伯看戏，排了个棒打薄情郎。汤恩伯看完，即吩咐将总部某秘书谢某关起来。众人与谢秘书均莫名其妙，原来这个谢秘书也丢了一个小脚老婆在总部的镇平留守处，不给生活之资变相遗弃。谢太太悲愤之余，有个冒失鬼出主意，不妨拦车告状，于是一次汤恩伯车队经过，谢太太即拦车递上状纸，汤恩伯看看就忘了。这回看了戏触景生情，马上主持正义，莫明其妙地将谢秘书关起来，关起来后却又忘了，没再追问，总部就将人放了，不了了之。是为一时之笑谈。
汤恩伯曾兼任武义县私立明招初级中学董事、董事长，多方为学校筹集资金，给学校捐资法币一百万元，捐赠房屋一座、山80亩，少量田地，以及至今尚存的钢琴一架。
后世纪念
故居
汤恩伯故居位于浙江省金华市武义县汤村，是一座旧式砖木结构的带楼层的四合院。外墙通体白色，院落进门是天井，两边是厢房，堂屋正中挂着汤恩伯身穿戎装的照片，两边挂着汤恩伯生前好友及后人的对联和对汤恩伯生平事迹的概略，客厅里布满了汤恩伯及其家人的照片。1998年故居被列为武义县文物保护单位
公馆
汤恩伯公馆位于江苏省南京市鼓楼区三步两桥12号，为面朝南的平房，以拱形门和踏步强调入口，屋顶设烟囱。公馆原为广东李氏兄弟在20世纪20年代建造，抗战期间被日军侵占为军官司宿舍，1946年汤恩伯任国民革命军陆军副总司令兼南京警备司令后，以其妻王竟白名义，用法币2500万元购得。