1949年5月25日清晨，汤恩伯、石觉、陈大庆等人乘车来到吴淞镇，涌进了第52军军部，并召集52军、第21军的军、师长开会，布置部队撤退事宜。汤恩伯还亲书“手令”一道，密封后由第52军派一个参谋送给第37军军长罗泽闿。 52军军长刘玉章回忆，汤恩伯给罗泽闿的“手令”内容，是命令第37军坚守到26日午后，方可撤到码头上船。52军的这个参谋在卫兵护送下，到了25日中午，才在杨树浦大连路上一所学校里找到罗泽闿，并当面递交了汤恩伯的“手令”。 接着，汤恩伯在52军军部，当着刘玉章、李运成、侯程达、郭永、李有洪、刘梓皋、王克俊、李荣前、李志熙等少将以上高级军官的面，宣布了蒋介石的指示：为了保存实力，将上海守军向舟山和台湾转移。 汤恩伯要求第21军（军长王克俊）和第52军统归刘玉章指挥，并坚守现阵地，掩护市区及浦东地区各部队的撤退。汤恩伯还规定52军、21军的后方部队应于26日上午开始上船，其第一线部队的撤退，必须另候命令，不得擅自行动。当时分配给52军的有4艘货轮，分配给21军的有3艘商船（客轮），其中分给52军第296师的是一条排水量为5000多吨的货轮“大公号”。汤恩伯布置完毕，便率先登上了“太湖号”兵舰，在吴淞口继续指挥。 刘玉章在汤恩伯上船后，让52军副军长李运成率领各师的副师长，带着军部和各师的警卫营、工兵营前往吴淞海军码头，接收、分配载运部队撤退的船舶，并派部队看守；同时命令各部队立即将伤病官员、行李辎重（实际上多数是军师长们的私人财产，例如大箱大箱的银元）和非战斗官兵送上船去。还在码头区设置警戒，管制交通，防止地下党进行破坏（因为52军在1948年冬从营口撤退时，曾发生轮船锅炉爆炸，造成千余人葬身海底）。 与此同时，刘玉章又让296师师长刘梓皋指挥第74团向盛桥、浏河附近搜索前进，另派21军的145师向罗店、嘉定方面搜索前进。 到了25日傍晚，52军军部及直属部队及第25师、21军及第146师都偷偷地开始向吴淞海军码头集中，抢先上船。 在现场指挥的刘明奎（52军第25师师长）后来回忆说：“我曾在美国电影里看见英国人于1940年5月27日，由法国北部港口敦刻尔克仓皇撤退的狼狈情景。但是，5月25日到26日深夜，在吴淞海军码头，我看见撤退的官兵们争先恐后地抢着、打着、挤着上船的惨状，却大大地超过了敦刻尔克撤退时的混乱和悲惨的情景。” 刘明奎还十分愤慨地痛斥一些国民党“要人”，丧尽天良，不顾重伤官兵的小命和安全，把他们抛弃在码头上，任人践踏；却派武装士兵把自己的亲友和私人财物，强行装船逃台。 刘明奎愤怒地指出：当时指挥完全失灵，码头上人山人海，拥挤得水泄不通；人们或者从别人的头上向船上爬去，或用力（有的用枪撞开人墙），硬向船上冲，冲上船后，再从船上放下软梯、吊绳等，供等在岸上的人攀绳而上，其中有些人因互相争夺拥挤以致中途绳断，坠入江中，葬身鱼腹；有的人好不容易挤到了栈桥上或趸船上却被挤下江去。还有一些在岸上不能上船的人竟跳下江去，游到船的另外一侧（靠码头的另一侧）再向船上抛绳，然后顺着绳子向船上爬去。有一些上不了船的官兵，竟在码头上向船上射击，以发泄他们的愤怒，企图要船上的人和他们一起同归于尽，结果迫使船上的人只好开枪还击，妄图压制，以致船上和岸上变成了“敌人”，互相射击，自相残杀，造成流血，迫使有的船不得不提前启锚开航；因而使那些攀在船舷边想向船上爬的人，和挤到了栈桥上正向船上冲的人，都纷纷落水；这也使得等在岸上无法上船的官兵，更加气愤，不但用机枪向船上扫射，还用60炮向船上打去。 5月28日下午，汤恩伯在定海港内他所乘坐的太湖号兵舰上，召集各军师长开会，汤恩伯派出几艘海军的汽艇和登陆艇，分别开到各条船旁，去接运各军师长到太湖号上开会。当时各部队所乘的船舶在28日中午，已基本上全部到达定海港集中。 会上，汤恩伯了解了各部队现有人员和装备的情况，并规定各部队应自行派船将分乘在其他船上的官兵，接回各该部的轮船上，归还建制。 从上海败逃的国民党军，各军撤到台湾的实际人数，多少不一，其中以52军建制保留得最为完整，所部第296师还有7000余人，第2师有5000多人，第25师3000余人，52军军部及直属队约4000人，全军约两万多人。第54军全军约15000多人，其中第8师人数较多，约5000余人。第21军尚有官兵约7000余人。第12军由高桥撤退时损失较大，撤退到台湾后经过休整补充后，也只有4000多人。 汤恩伯从上海撤退出来的残部，后来在台湾整合编成了3个军，即第52军、第54军、第87军，每个军的总人数都在2.5万人左右，其中52军人员最多，经过整补后达3.3万人。除了孙立人编练的新军外，这三个军是蒋介石用于守卫台湾的基本主力了，此时的国民党军之残破不堪可见一斑。
