1924年11月，吴佩孚带着残部来到洛阳准备重整旗鼓时，憨玉琨率四万大军进逼洛阳，扬言：“三日内离开，可保吴大帅安全，若三日后，休怪下手无情。” 在第二次直奉大战打响后，陕西督军、镇嵩军统领刘镇华，发通电支持直系，并派出一个师前往助战。 当冯玉祥率部控制北京，直军在山海关被奉军击败后，刘镇华马上转向，一面派代表向张作霖、冯玉祥示好，一面派手下大将憨玉琨兵出潼关，抢占河南地盘。 兵败的吴佩孚，一路辗转来到洛阳，建立总司令部，试图以河南为基地，东山再起。刘镇华见吴佩孚势孤，密电憨玉琨驱逐吴佩孚。 憨玉琨出潼关时，只有一万多人，在进军洛阳途中，大肆收编土匪武装，很快将兵力扩充到四万余人。憨玉琨派人向吴佩孚传话，让他三天内离开洛阳，否则就会强行攻打。 见连憨玉琨这种角色都敢欺负到自己头上，吴佩孚气得发抖，可形势比人强，昔日的“吴大帅”，为了保住性命，不得不带着几千残部，仓惶离开洛阳。 张作霖、冯玉祥控制局势后，在天津邀请已下野的皖系首领段祺瑞召开“三方会议”，会议推举段祺瑞为“临时执政”。 吴佩孚离开洛阳后，决定去湖北发展。直系的湖北督军萧耀南，是吴佩孚一手提拔的，向来恭顺。吴佩孚没想到的是，对他一直服从的萧耀南，却发出通电支持段祺瑞以“临时执政”的身份，主持北洋政府。 当吴佩孚到达信阳时，被萧耀南派人阻止，不让他继续前行。吴佩孚只得暂住在鸡公山上，湖北的直系军官，大都心向吴佩孚，纷纷送来物资，使吴佩孚和几千部众，倒也不缺衣食。 不久后，吴佩孚乘坐军舰前往汉口，萧耀南派人传话，说到汉口可以，但需住在租界。吴佩孚大怒，说：“我就算投江，也不会去租界的。” 萧耀南这种不讲情面的做法，引起湖北直系将领的不满。黄州镇守使葛豪主动派人去迎接吴佩孚，萧耀南担心再强行阻拦，会激起兵变，只得同意吴佩孚去黄州。 葛豪早年当过吴佩孚的贴身副官，后来又被提拔为营长、团长、旅长，直至做到了镇守使。吴佩孚到黄州后，葛豪执礼甚恭，整日以“吴大帅”相称。 第二次直奉大战，直系尽管遭到惨败，但损失的都是曹琨、吴佩孚这一系的主力，直系在南方的督军，实力都没有损失，他们为了保住地盘不被奉军夺占，不得不联合起来。 南方直系的督军、镇守使们，若要联合反奉，必然要有一个领衔之人，这帮人资历相当，谁都不服谁，也就在黄州的吴佩孚可以压服他们。 本来打算向张作霖“输诚”的萧耀南，见直系将领们派来的代表，频繁前往黄州，又转变态度。萧耀南在汉口设宴，将直系的代表们请来，说：“我跟着曹大帅、吴大帅多年，不可能干出对直系不利的事情。” 有代表讽刺说：“萧督军话说的好听，可为何不让吴大帅进汉口，逼得他乘军舰转赴黄州。 ” 萧耀南脸色通红，解释说：“当时我若公然把吴大帅迎来，必然惹怒张作霖，导致奉军来攻，诸位要体谅我维持局面的苦心。” 一个代表质问：“萧督军派人去和张作霖谈判，这可是事实？” 萧耀南说：“我这是诈降啊，给张作霖变戏法，吴大帅突然入鄂，我若表现的很热情，岂不是把变戏法的宝盒揭开给人看了。” 在会上，萧耀南向众人表态，马上会派人去将吴佩孚迎到汉口，担任直系联军的总司令。 1925年9月，萧耀南派船将吴佩孚接到汉口，并在刘家花园设立“讨贼军总司令部”。直系的督军中，以浙督孙传芳的实力最强，拥有四个师加两个混成旅的兵力。 奉系名义上控制了安徽、江苏，由姜登选、杨宇霆任军务督办，但安徽只有奉军一个师，江苏虽有奉军两个师，但都是由混成旅扩编的，并不满员，且分驻上海、南京各地。安徽、江苏的地方势力，都在孙传芳的暗中联络下，做好了反奉的准备。这样一来，只要孙传芳起兵，靠姜登选、杨宇霆手头的兵力，根本不是对手。 直系反奉的计划是：由孙传芳率先起兵，由浙江进攻江苏、安徽，驱逐杨宇霆、姜登选；等奉系的山东军务督办张宗昌率部支援徐州时，由岳维峻、靳云鹗指挥河南的各路部队抄袭张宗昌后路，将其合围歼灭。 靳云鹗是直军将领，岳维峻是在胡景翼病死后，接任的国民二军军长。本来，国民二军和奉系联合对付直系，但到了岳维峻手里，因担心河南地盘被奉系抢去，定下了“结好吴(佩孚)孙(传芳)，稳定南方，专力对奉”的方针。 10月，孙传芳兵分三路，直取上海、南京、苏州，吹响了“反奉号角”。仅一个多月，孙传芳就控制了安徽、江苏，在徐州击败了张宗昌。紧接着，浙江、江苏、安徽、福建、江西的代表在南京开会，公推孙传芳为“五省联军总司令”。 不久后，吴佩孚被公推为“十四省讨贼军总司令”。奉军丢失安徽、江苏后，郭松龄又在滦州率七万奉军精锐起兵讨伐张作霖。与此同时，国民军进军直隶，一时间，张作霖陷入了四面楚歌的地步。 关键时刻，吴佩孚却提出和张作霖休战。相比张作霖，吴佩孚更记恨冯玉祥。反对吴佩孚和张作霖和好的萧耀南，在一个多月后离奇死去。吴佩孚顺利接手湖北，继而染指湖南、河南，再次复起。
