1902年2月，冯玉祥离开淮军改投袁世凯的武卫右军。在武卫右军中，冯玉祥是出了名的老实人。不过，老实人偶尔也会干出不老实的事情。有一天，冯玉祥所在的哨收操回营，在路过街道时，街边有一个倚门卖笑的女子，冯玉祥随手指了一下，其余同列的（一列四人）的三人，没有看清是谁指了那个女子。 回到营房后，不知道为何，哨长知道了此事并勃然大怒，他让冯玉祥这列的四个人出列，询问是谁在街道上用手指了女子？冯玉祥当即承认说他就是随手指了一下，由于冯玉祥一向表现很好，哨长认为这是老实的冯玉祥替其他人顶过，反而更加生气，让其他三人罚跪，冯玉祥也陪着同列的三人跪下。事后，冯玉祥连连向三人道歉。 武卫右军是袁世凯编练的北洋新式陆军，袁世凯自己有一个被称为“小队子”的卫队。为了扩充“小队子”的卫兵，袁世凯不定期派人到北洋新军中挑选身材魁梧的大个子，袁世凯的要求是身高不得低于一米八。 有一天，袁世凯亲自来冯玉祥所在的第六镇给自己挑选卫兵，冯玉祥觉得这是一个机会，很想去，由于冯玉祥身材高大有一米九，很有精气神，如果在队列中那么肯定就会被选上。但 是，冯玉祥所在的营的管带和哨长都不愿意让他去“小队子”当卫兵，因为冯玉祥为人可靠，吃苦耐劳，也有指挥才能，所以管带和哨长想培养冯玉祥，让他在营里当一个小头目。结果，在袁世凯来挑人的这天，管带干脆让哨长把冯玉祥关起来，不让他去操场。为了这件事，冯玉祥还大哭了一场。 冯玉祥在北洋军中的成长完全是一步一个脚印，由普通士兵成为正目（相当于班长），又由正目又升到哨长（相当于排长）。 当时第六镇的统制（相当于师长）段祺瑞，在选拔军官上比较开明，在第六镇出了一个哨官（相当于连长）的空缺后，段祺瑞让全镇的哨长参与考试，冯玉祥考了第一，于是顺利的升任为哨官。 也是冯玉祥运气好，不久后，第六镇出了一个帮带（相当于副营长）的空缺，段祺瑞依照前例，又让第六镇的哨官参与考试，冯玉祥又考了第一。和其他部队不同，袁世凯的北洋新军的军官，大部分都是军校毕业的，有些还有留德、留日的背景。段祺瑞在选拔帮带的考试中，科目包括典、范、令和初级战术，在考试前大部分的哨官都不当回事，而冯玉祥却是下足了功夫学习和操练，结果，冯玉祥这个没有上过军校的，出乎意料的拔得了头筹。 冯玉祥当了帮带后，“冯玉祥气死留学生”这个说法在第六镇广为流传。 1903年2月，在袁世凯的筹划下，相继开办了陆军小学堂、陆军中学堂、兵官学堂、陆军大学堂等军事学习，用于培养军官。不久后，袁世凯又在保定的东关外，创建了“北洋陆军速成武备学堂”，这个学堂是后来陆军大学的前身。 8月，“北洋陆军速成武备学堂”正式招收第一届学生，报考的条件有三条：一是，年龄须在30岁以下；二是，国内外的军官学校的毕业生，且任军官超过一年；三是，在军队中服役两年以上，军职为管带以下、哨长以上。符合这三条的，可以报考，招收后的学制是三年。 冯玉祥很想去这个新式的军校就读，可惜的是，他虽然符合第一条和第三条，但是在报名时，嫉妒冯玉祥的军官检举，说冯玉祥没有上过军校，不符合报考条件的第二条。如此一来，冯玉祥非常遗憾的未能参加考试。 未能报考“北洋陆军速成武备学堂”，让冯玉祥极为气恼，因为这是当时国内最高的军事学府，他后来对手下的官兵说：“当年他们不让我考陆大，那么我今后一定要自己建一个陆大。” 冯玉祥对创建军校一直记在心中，在他发迹后积极地付诸于实施。1923至1925年，冯玉祥就任陆军检阅使，驻军南苑。在此期间，他在经费极为紧张的情况下，办了一个“高级军官教导团”，用于培养自己手下的官兵，冯玉祥让陆大的老前辈段祺澍当教导团的团长，以陆大毕业的崔正春、高震龙刘骥、熊斌、王乃模等人为教官；学员则是从自己手下选拔出来的优秀官兵，冯玉祥日后西北军的很多著名将领，当年都曾在这个教导团学习。冯玉祥也非常重视给普通士兵扫盲，这在当时的军阀中是极为罕见的。 对于当年陆大报考条件的唯学历论，冯玉祥深恶痛绝。到了1928年，已经很有话语权的冯玉祥向陆大建议，在招收学生时，除了以前的正规班之外，应该增设“特别班”，“特别班”专门招收那些没有上过陆大的校级以上军官，学制也是三年，这些军官只要是中校以上，出身即使是行伍，也可以报考。当时的冯玉祥声势正隆，陆大很快便采纳了建议。 后来，冯玉祥和他的西北军将领鹿钟麟、石敬亭、张维玺、孙良诚等人进入陆大特别班第三期学习，冯玉祥总算是圆了陆大毕业生这个梦了。
