但在中共几位名将，特别是擅长大兵团作战的华东野战军代司令员兼代政委粟裕的运筹、指挥下，刘峙麾下先后投入的7个兵团、两个绥靖区，34个军，86个师，共约80万人竟一败涂地，被歼灭55万人。蒋介石赖以起家的黄埔嫡系绝大部分被一锅端，蒋介石也随之第三次黯然下野。不久，国民党在大陆的江山也寿终正寝。
    刘峙从黄埔系的功臣瞬间成为毁灭黄埔系的罪人，蒋介石痛恨有加，一度要查办他，因何应钦说情才不了了之。但他到台湾后，也依旧不理睬刘峙。刘峙只得流落香港、印尼等地多年，穷途末路急于糊口之际，竟以上将至尊当起了小学教员。
    直到时过境迁的1953年11月，蒋介石才念及旧情允许他回台湾，并给予他“总统府国策顾问”等虚衔，算是对他过去追随自己的慰勉。
    1965年，与他在印尼落魄患难的妻子黄佩芬因病去世，这件事对年迈的刘峙是一个沉重的打击。从此后他益加落落寡欢，在寂寞孤单中消磨岁月。终于在1970年1月15日在台湾病逝，终年79岁。