1949年4月20日，解放军发起渡江战役后，见大势已去的汤恩伯只得将兵力向上海收缩，并重新启用了赋闲在家的国民党中将刘昌义担任淞沪警备副司令。 刘昌义出身于冯玉祥的西北军，素有善战之名，抗战时期表现出色，在解放战争时期因为对老蒋的独裁统治大为不满，便选择赋闲在家，并秘密加入了民革，相机进行起义，只是苦于没有自己的部队，此时汤恩伯让他担任淞沪警备副司令，正合他的心意，于是爽快答应。 5月16日，处于上海外围的国军第51军被解放军击溃，军长王秉钺被俘，汤恩伯得到消息后，大骂王秉钺的无能和愚蠢，更一方面派刘昌义去收拢51军残部，并让他接任军长一职。 5月23日，汤恩伯眼见上海已经很难守住，便与陈大庆、石觉等人密谋后决定，将中央军主力部队撤出上海，只留下地方杂牌部队进行抵抗，而这支部队的指挥者自然就轮到了刘昌义的身上。 接到通知后，刘昌义赶紧去淞沪警备司令部面见汤恩伯，没想到此刻，汤恩伯早已经偷偷溜到了军舰上，只留下陈大庆等待刘昌义的到来，并向他交代了具体的作战任务，同时任命刘昌义为北兵团司令，负责组织留守的杂牌部队进行抵抗，汤恩伯此举无疑就是把刘昌义当做了炮灰，刘昌义听后也是一肚子气，这摆明是让他去当“替死鬼”，但转念又一想，正好借此可以控制部队，发起起义，于是便同意了。 5月25日，眼见时机成熟的刘昌义率领手下四万三千多人起义，并接受了解放军27军的改编，回到了人民的怀抱。
