1929年5月23日，已经下定决心背叛冯玉祥的韩复榘，召集第20师全体官兵在洛阳西工兵营的操场上集合，要把部队拉走。
为了稳定军心，韩复榘对大家说：“我主张和平，才由陕州回来。你们想一想，愿意跟我走的蹲着别动，不愿意跟我走的，可以站起来，我绝不勉强。”在这种情况下，根本没有一个人站起来表示反对，全部“愿意”跟着韩复榘走。
韩复榘带领部队叛冯投蒋，是西北军由盛转衰的标志性事件。而韩复榘则凭借着第20师这一个师，经过数年的发展，逐渐成为了一个新的军阀势力，该集团巅峰时期的总兵力达到了10万。
从国民革命军第20师到第3集团军冯玉祥在得知韩复榘背叛自己的消息后，非常的悲痛，西北军各部将领纷纷请求出兵消灭韩复榘的部队，冯玉祥却说：“算了吧，让他们走吧。”
如果冯玉祥当时选择出兵，那么韩复榘的部队很有可能会重新回归西北军阵营中，双方也不大可能大打出手。由于冯玉祥的妇人之仁，放走了韩复榘的部队，进而增强了蒋介石的实力。
韩复榘公开发布背叛冯玉祥的通电后，蒋介石给韩复榘发了一封电报，称赞道：“吾兄服从中央，拥护统一，精诚毅力，实乃中流砥柱而力挽狂澜，不愧为革命军人楷模，增我革命历史光荣，不胜感慰。”
当然只发布嘉奖电报是没用的，还得有实际的好处。财大气粗的蒋介石任命韩复榘为第3路军总司令，并很快派出宋子文、宋美龄等人带着巨款和各种物资来到了韩复榘部队的驻地，进行慰问。在蒋介石的支持下，韩复榘开始招兵买马扩充自己的实力，除了原本的第20师外，又新组建了第22师和第29师，这些部队是韩复榘集团的核心力量。
在中原大战后，韩复榘担任山东省政府主席一职，掌握了山东省的军政大权，军队的规模进一步扩大，新成立了第74师和第81师，其中的第81师是收编了石友三的残余部队组建起来的。除了正规部队外，韩复榘还掌握了大量的地方保安团队，实力非常雄厚。
抗日战争开始后，韩复榘的部队与东北军于学忠的第51军组成第3集团军，该集团军所属部队分别是孙桐萱的第12军（下辖第20师、第81师）、第51军、曹福林的第55军（下辖第29师、第74师）和谷良民的第56军（下辖第22师、手枪旅），该部主要作战任务是防守山东。
韩复榘被枪毙后第3集团军的情况1938年1月，韩复榘因为临阵脱逃被枪毙。正所谓树倒猢狲散，在韩复榘死后，蒋介石立即开始分化瓦解韩复榘的部队。
作为韩复榘心腹爱将的第12军军长孙桐萱，在韩复榘被扣押后，多方奔走各种送礼求情，但都没有结果。韩复榘的部下除了孙桐萱外，对于营救韩复榘基本上没有什么信心，也害怕引火烧身。在一次内部秘密会议上，孙桐萱对参会的将领说：“我们跟韩多年，都受过他培养，要赶紧营救他，才是对得起他。”但这些人都不愿意当出头鸟，都不怎么积极。
第55军军长曹福林被蒋介石的人收买，开始不断制造第3集团军军内部矛盾。曹福林先是以第56军作战不力为由，要把第56军的番号给撤销掉，孙桐萱为了顾全大局，被迫同意了曹福林的要求。第56军的第22师划给第12军，手枪旅则改编为新编第4师派去敌后打游击。
孙桐萱在当上第3集团军总司令后，和第55军军长曹福林的矛盾不断激化，最终曹福林的第55军脱离第3集团军作战序列，被编入刘汝明的第2集团军。随着第55军的离开，第3集团军名义上是一个集团军，但实际上只剩下了一个第12军，实力大不如前。
孙桐萱的撤职与第3集团军的解体蒋介石、汤恩伯千方百计的想要瓦解孙桐萱的第3集团军和吞并第12军，但第12军在战场上没有什么大的过失，部队的损失也可以补充完整，因此在很长一段时间里始终没有机会下手。
在1941年10月的郑州作战中，第3集团军抵挡不了具有装备优势的日军，郑州也被日军占领。不过，日军虽然打下了郑州，但并没有长期占领的计划，第3集团军在日军撤退后得以重新收复郑州。汤恩伯在第3集团军浴血奋战期间，竟然命令部队扣押了送往前线的给养和收缴了一些从前线退下来官兵的武器。即便处境如此困难，在孙桐萱的指挥下，第3集团军依旧和日军顽强战斗，咬紧牙关坚持了最后。
自此以后，孙桐萱对于蒋介石越来越不满，他一方面和八路军取得联系进行合作，一方面又以各种理由不断清除蒋介石派来的军官。孙桐萱的这些行为无疑是触碰到了蒋介石的底线，1943年1月，蒋介石以“勾结日寇”和“通共”的罪名，直接把孙桐萱扣押了起来。
原本蒋介石想要像枪毙韩复榘一样，直接枪毙了孙桐萱，但是由于担心影响到西北军部队，最终没有痛下杀手。孙桐萱被抓后，第3集团军也随之解散，第12军军长一职由原第81师师长贺粹之担任，该军改隶汤恩伯的第31集团军。
在第12军调入第31集团军后，汤恩伯把该军营以上的军官大批撤换，并将第20师调走，掺入中央军嫡系部队暂编第55师这把沙子。汤恩伯这一系列的做法，严重打击了第12军的士气，作为一支久经战阵的部队，在1944年的豫中会战竟然没有多少作为和存在感。
军长贺粹之趁着汤恩伯各部溃败的机会，直接就把部队拉去了号称是杂牌军收容所的第5战区。贺粹之的这一行为，使得第12军的番号被撤销，第22师和第81师改隶第55军。自此韩复榘的部队都汇集到了第55军，蒋介石分化瓦解韩复榘部队的阴谋彻底完成。
