1927年8月，国民党发生内江，蒋介石第一次下野，由何应钦、李宗仁、白崇禧三人维持南京政局。 蒋介石在下野前，将他的基本部队进行改组，以黄埔军校学生和教导团为基础的部队改编为第一、第九两个军，刘峙任第一军军长，顾祝同任第九军军长，均属何应钦的第一路军指挥。 当时，第九军各师的团长是黄杰、楼景月、王敬久、孙常钧、李树森、赵国聪、王劲修、柏天民、黄维等，都是黄埔一期的同学；副团长、营长都是第一、二、三期的同学；连排长都是三、四、五期的同学。因此，人们称第九军是蒋介石的嫡系部队。 1928年渡江后的北伐进军中，何应钦所指挥的部队很多。当时，何应钦认为顾祝同比刘峙能干，而且稳当些，所以有意培植顾祝同，想把第一、第九两军统归顾祝同指挥。 但是，北伐军攻占临淮关后，因敌我双方情况不明，一时指挥混乱，部队奉命都向后撤退。当时，刘峙的第二师（刘兼师长，徐庭瑶任副师长)在临淮关向北警戒，没有奉到退却命令，也没有其他退却部队取得联系，还继续向蚌埠前进，在长淮卫与敌军遭遇，很顺利地击溃了敌人，进而占领了蚌埠。 第九军得到这一情况后，才再从红心铺前进，却已落后了一天时间。第九军官兵在退却时，认为现在临淮关打了胜仗，为什么还要退却，都感到不解。 第二十一师师长陈继承打电话问顾祝同，顾在电话中对陈继承说：“我们遵照命令行事，恐怕是南京发生了什么事故也说不定。”后来才弄清楚，原来是情况不明、指挥紊乱所造成的。 对顾祝同来说，这次指挥三个师作战乃是第一次，心里毫无把握；再加上联络不紧密，他怕自己部队过于突出而吃亏，所以一听说撤退就不加考虑，哗啦一下就跑开了。 部队到达蚌埠后，何应钦在总理纪念周上说：“第二师副师长徐庭瑶作战勇敢，这次能独力挽回战局，论功应升为第二师师长。” 何应钦对顾祝同虽未追究，但把他以前对刘、顾二人的看法改变了，认为刘峙还是沉着些，是个“福将”。因而，从这时起，在一个相当长的时间内，顾祝同老归刘峙指挥，升官也总是落在刘峙后面。 所谓“何应钦派”下的主角刘、顾之间，由此也有了矛盾。 济南惨案后，第九军改编为第二师，仍以顾祝同为师长，可部队的人事、经济大权实际由蒋介石亲自掌握，师长不能过问。 1929年天，蒋介石与桂系开战。顾祝同认为这次战事没有把握，他对他左右亲信的人说：“我们要兢兢业业，白崇禧是不好对付的。” 因此，顾祝同这次的指挥部署比过去作战小心谨慎得多。直至部队到达湖北新洲、黄陂间，听说桂系将领李明瑞、杨腾辉被蒋介石买通投降了，胡宗锋、陶钧率部向沙市、宜昌撤逃，蒋介石坐兵舰先到了汉口，第二师未放一枪就开到了武汉，顾祝同才放心。 顾祝同到达武汉后，接替鲁涤平充当了武汉卫戍司令。这时，刘峙升任第一军军长，又担任武汉绥靖主任，第二师归刘峙指挥。顾与刘原先就有些意见，这一来就更加深了。于是，第二师除作战命令不能不听第一军之外，其他事情刘峙不敢过问，顾平时也没有把刘当长官看待。 这年冬天，第二师调离武汉，参加“讨伐”唐生智、石友三之役，这才与第一军脱离了建制关系。 1930年，蒋冯阎大战后，顾祝同升任第一军军长，旋又升任第十六路总指挥。可第二师是顾祝同起家的资本，他虽然升了军长、总指挥，却并没交出第二师师长职务，对所指挥的其他部队很少能过问。 顾祝同任第二师师长近三年的时间，能取得官兵的信任，有一套笼络方法。他平时不严格要求纪律，不禁官兵嫖赌，只要求能冲锋不怕死就行。 对营长以上的军官，每月在师部借召集会议为名，请大家吃一顿丰盛的饭。对团长以上军官每月有补助费，多少不等。对营长级的军官，虽没有明的补助，但每人每月可透支100元左右。连长们每月吃几个空额是从来不追究的，而且成了公开的秘密。 军官如有犯纪律的，顾总是告诉军法处从轻处理。被撤职的军官离开一个短时期，回去找工作还是照常任用。对作战阵亡的或受伤的军官，都有比规定多一些的安家抚恤金。 年纪老了不能再当兵的老行伍，或安置于所办的农场，或给资本使经营小商业。还办有子弟学校，帮助退伍的官长子女上学。退伍的官兵再去找他，也从不让你空手而归。总之，顾祝同处处对部下示以宽厚。 1930年战事结束后不久，顾祝同的第一军军长交陈继承继任，第二师师长交汤恩伯继任，顾调充警卫军军长。 警卫军是蒋介石的骄子，装备训练全是德式，每个团都有德军顾问，在南京还新盖了许多营房。蒋介石经常到这个部队去看操，看野外演习，隔不久就亲自校阅点验一次。结果，弄得顾祝同成为一个虚有其位者。 不久之后，顾祝同见刘峙当上了河南省主席，心里酸溜溜的；再加上他这个警卫军长干得也没意思，于是通过活动，也当上了江苏省主席。从此之后，顾祝同算是彻底离开一线，再没担任过部队主官。
