1948年3月初，西北野战军宜川大捷后，胡宗南急调裴昌会兵团西援西安。结果在陇海线潼关至郑州段长达数百公里的路线上，只剩洛阳一座城有国民党正规军驻守——青年军整编第206师（中将师长邱行湘），约2万人，自诩工事是“金城汤池”，城防由美军顾问参与指导，利用邙山、洛河天然地形筑垒
中央军委2月底明确：由华东野战军参谋长陈士榘、政治部主任唐亮统一指挥，参战兵力为华野3纵、8纵与中野陈谢兵团4纵、9纵及太岳军区一部，共28个团约10万余人。陈士榘，华野参谋长，井冈山下来的老资格。陈赓非常大度，主动向军委表态：由陈士榘统一指挥没问题，自己全力配合。
战役经过七天七夜，其中3月11日 19时总攻开始——3纵打东门和北门，4纵打南门和西门；3月12日凌晨3纵8师23团1营经连续爆破，在东门炸开缺口率先突入，各门部队逐屋逐街巷战。3月14日黄昏，最后核心阵地被爆破摧毁，邱行湘被俘，全歼守敌2万余人。
3月17日，因裴昌会兵团重压逼近，我军主动撤出洛阳，转至西南郊县休整。图为洛阳战役时，陈赓（左）与陈士榘（右）并肩而立的合影。洛阳战役是我军外线作战后攻克的第一座大城市。丁秋生（3纵政委）后来回忆：“这是一次在战役上对敌人坚固设防城市实行抓一把——既攻破坚城，又调动敌人来援，还不被敌人包围——意义十分深刻的作战。”