1949年5月24日，蒋介石授意汤恩伯把嫡系部队从上海撤退出来，以保存所剩不多的残余力量。当天夜里，汤恩伯以调整部署的名义，下令将杂牌第21军与嫡系第52军换防。21军奉命于第二天拂晓前接替了52军在月浦、杨行地区的防务。 直到25日傍晚，21军军长王克俊才得知汤恩伯让嫡系撤退的逃跑计划，他气愤之余急忙用电话通知21军各师、团长以开会名义到军部集合，然后王克俊抛下部队，带着这些亲信也登船逃走了。 这时，在前线的21军官兵仍蒙在鼓里，还在进行徒劳无益的抵抗。直到汤恩伯派到21军担任联络的高参周屏中到各团说明情况后，这些官兵们才知道汤恩伯和他们的军长王克俊及师长、团长抛弃他们逃走了。21军在前线的官兵们随即停止抵抗，在周屏中的联系下，向解放军集体缴械投降。 关于撤退的国军嫡系部队的狼狈混乱情形，从第54军第291师的局部情况中，可见一斑。5月25日中午，291师奉命由浦西大场阵地开赴江湾、吴淞间的张华浜码头上船，并限令在下午8时以前赶到。 291师师长吴世英接到命令后，马上集合所属团长、营长，对他们说：“现在情况紧急，我们马上就要走了。根据上峰的命令，在阵地上的只救营长以上军官，部队都不管了。能带走的部队都要轻装。不能带走的骡马、弹药、行李等一律销毁，不要被共军利用，部队行动愈快愈好。” 这些团、营长接到命令后，立刻回去集合起部队，夺路向张华浜码头疾进。由于沿途道路被车辆、物资和乱军拥塞住，291师官兵在中途被冲散走失了不少。291师第873团团长何轩叶率部在逃跑中，见溃散官兵像热锅上的蚂蚁，部队在离码头十几里处就被堵得走不动了。何轩叶干脆抛弃部队，和副团长、几位营长带着一个警卫班向着码头冲去，挤了两个多小时，好不容易才跑到码头上。 这时，张华浜码头已在解放军的炮火控制之下，许多船只为躲避炮击都开到吴淞口外去了。何轩叶等人只找到一艘机器有故障的登陆艇，与千余名溃兵一起拥上船，强行开船。结果，这艘登陆艇行驶到吴淞口就搁浅了，何轩叶等人都当了解放军的俘虏。 汤恩伯为便于自己脱身，任命第51军军长刘昌义兼任淞沪警备副司令。汤恩伯原来还担心刘昌义不肯干，刘昌义却出人意外地答应下来，而且表现得非常积极。心中窃喜不已的汤恩伯哪里料到，刘昌义此时已派人与解放军暗中联系，准备火线起义。 刘昌义原是西北军冯玉祥的部下，从17岁开始就投身军旅，在国民党军中几经浮沉，他早就对蒋介石排挤杂牌军极度不满，心灰意冷。自刘昌义被调到上海后，经民主人士刘云昭介绍，他与民革委员会的军事特派员王葆真进行秘密会晤，并经其介绍，加入了民革。王葆真动员刘昌义寻找机会，想法抓住一部分兵权，然后举行反蒋起义。 5月16日，解放军向上海外围阵地发起进攻后，第51军主力在浦东白龙港被歼灭。消息传来，刘昌义心中为之一动，便主动去找汤恩伯，对他说：“汤总司令，王秉钺被俘了，51军没有军长部队很乱，应当有一个人去招呼。” 汤恩伯当即委任刘昌义为第51军军长，命令他去收容51军残余部队。刘昌义最后只收容起51军残部两个团。5月22日，汤恩伯又下令委任刘昌义为淞沪警备副司令兼北兵团司令，把苏州河南的第51、第21、第123军等杂牌部队都留给刘昌义指挥，组成北兵团。 刘昌义心里十分清楚，汤恩伯留给他的这几支部队，都屡经解放军打击，几乎没有什么战斗力，而且这个所谓的北兵团就是给蒋军嫡系断后的。不过由于战场形势急转直下和汤恩伯准备逃跑，这在客观上给刘昌义创造了起义的机会。所以，刘昌义还是毫不犹疑地接受了这一任命。 在此之前，王葆真已被国民党特务逮捕，刘昌义不知如何与解放军联系。最后还是刘云昭提醒他：“可派一个得力助手直接与解放军前线指挥员联系，千万不可错过机会。”刘昌义接受了刘云昭的建议，马上派自己的贴身副官刘凤德设法与解放军取得联系。 5月23日夜，解放军全线发起总攻。到第二天黄昏时分，解放军第20、第23、第27军分3路突进了市区。解放军各部队趁着夜幕，组成多支突击分队，采用“多路快速跃进，勇猛穿插，迂回包围”的战术，很快就占领了苏州河以南的主要市区。 为保全城市，第三野战军司令部规定在市区内作战不准开炮，不准用炸药包。因此，退守苏州河北岸的国民党军凭借高楼大厦，居高临下，依托一条苏州河，严密地封锁了河面和南岸的街道、建筑，解放军前进的锋芒被阻于苏州河南岸。 就在此时，刘昌义派去的副官刘凤德与地下党田云樵接上了关系。刘昌义随后与解放军第81师政委罗维道举行了会谈。刘昌义对罗维道说：“我要求率部起义。” 经过一番交谈，刘昌义与罗维道签订了一项协议：刘昌义部停止一切抵抗，接受解放军编制。 在刘昌义的率领下，第21、第51、第123军残部共4万余人于5月26日在真如、大场等地起义，解放军顺利突破苏州河防线。5月27日，上海完全解放。
