徐向前从黄埔军校（一期）毕业后不久，于1925年夏，被分配到河南安阳国民军二军第六混成旅。和徐向前同去国民二军的，还有白龙亭、孔兆林等人。他们都是北方人，早就想回北方工作。 去国民军工作，是徐向前等人主动要求的， 他们在东征时就商量到北方的冯玉祥部去。东征回师后，他们向校方提出要求，很快就被派去了北方。 国民军第二军，原来是河南胡景翼的部队，冯玉祥倒戈推翻曹锟后，与胡景翼、孙岳联合，将所部改称国民军。冯玉祥任国民军总司令兼第一军军长；胡、孙任国民军副司令，分别兼第二、第三军军长。 1925年4月，胡景翼病逝，第二军军长由师长岳维峻接任，第二军第六混成旅旅长叫弓福魁，他和徐向前都是山西人。徐向前在第六混成旅先后担任教官、参谋、团副等职务。 岳维峻的部队一向军纪不好，徐向前在这里很苦闷，也非常的失望。1925年下半年，张作霖联合吴佩孚，向冯玉祥的国民军发起进攻，一场混战又开始了。岳维峻的国民军第二军执行攻打山东的作战任务，但是岳维峻当时胃口很大，在进攻山东的同时，他又派部队攻打山西。 11月中旬，国民军第二军兵分两路进攻鲁西，不久便抵近泰安。不料，岳维峻所部的田维勤、王为蔚、陈文钊等师一路被吴佩孚派人收买，突然调转枪头来共同对付国民军第二军。与此同时，岳维峻派去进攻山西的部队也被阎锡山击败。 岳维峻的部队号称有20万，但是大都是收编的武装，空有数量质量很差，岳维峻所部迅速崩溃，他本人也当了阎锡山的俘虏。徐向前所在的第六混成旅二团也被击溃，徐向前对军阀间的混战感到心灰意冷，便同几个同乡脱离了这支军队，从原平回到了五台县老家。
