1949年6月，一野正式组建第1、第2两个兵团，许光达被任命为第一野战军第二兵团司令员，下辖3军、4军、6军。这个任命，是彭德怀和一野前委提议、报中央军委批准的结果。
许光达具备多重硬条件，适合兵团主官岗位。他是黄埔五期，红军时期曾任红二军团17师师长，有高级指挥履历；负伤后赴苏联系统学习军事，理论功底扎实。抗战时期，他历任抗大教育长、120师独二旅旅长，既懂治军办学，又能带兵在敌后作战。
解放战争，许光达任晋绥野战军三纵司令员，1947年率三纵西渡黄河归入西北野战军，成为彭老总麾下主力。沙家店、延清、宜川等硬仗，他都表现突出，延清战役攻克清涧、生擒敌师长廖昂；宜川战役带伤指挥攻坚。更关键的是乌龙铺一战，他率部驰援，掩护党中央安全转移，得到彭德怀高度信任 。
部队编组方案最初由廖汉生提出：一军、二军、七军编为一兵团，王震任司令；三军、四军、六军编为二兵团，许光达任司令员、王世泰任政委。这套方案兼顾将领能力、部队历史渊源，也平衡干部梯队，一野前委一致同意后上报军委获批。在后续大西北决战中，许光达不负任命。扶郿战役，二兵团迂回切断胡宗南主力退路；兰州战役，他率部攻坚南山主阵地、抢占黄河铁桥，为全歼马家军立下大功。