1944年5月，参谋处长林方策向薛岳报告：“日军有进攻长沙的可能。”薛岳训斥说：“不要关起门看吊死鬼，自己吓自己哦。” 当时，日军在赣北等地大量抓民夫，湘北日军也是活动频繁，显然日军将有一次大规模的行动。对此，林方策专门还上了一个签呈给薛岳，但薛岳仍然不信，丢在一边。 参谋长赵子立问薛岳：“参谋处判断日军在湘北有大的行动，估计要向我们进攻的签呈您看见了吗？” 薛岳自负地说：“我早就说过，就日本来说，太平洋的其他战场更重要，在我们这里只是采取守势。” 赵子立说：“日本作战不一定都是对的，前年和去年不是在第三战区和第六战区发动过攻势吗？并且现在的情况与太平洋战争初期不同，日本海军不行了，打通粤汉、湘桂铁路，就可利用大陆交通代替海洋交通，这对日本来说是需要的。” 薛岳傲慢地说：“自第三次长沙会战之后，只要有我薛岳在，日本不敢向本战区发动进攻。” 赵子立还不甘心：“反正长江中下游两岸的沦陷区，日军都在拉夫，志在不小……” 薛岳瞪起眼教训说：“你知道个屁，那是被抓到南洋去当苦力的！”之后，赵子立又碰了几次钉子。 不出林方策、赵子立所料，日军在不久后就发起了湘北攻势，企图击破湘中国军，而达成贯通粤汉线的目的。 战役开始前，蒋介石派白崇禧到桂林，指导第九、第三、第四、第六、第七等战区的作战。薛岳一听就火了，骂道：“老蒋凭什么派白崇禧来指挥我？这分明是不相信我，我不干了！” 赵子立劝说：“看敌人的架势，与前三次长沙会战不同，兵力很大，我们要按前三次的老样子与敌决战，我们就难以取胜。请长官考虑，是不是让敌人再深入一些？改在衡阳与敌决战，那里地形好，各战区也易于向那里派兵支援。这样，我们请军委会多给我们一些兵力，准备的时间也更宽裕些。” 薛岳气呼呼地说：“日本东拼西凑，哪里有什么大的兵力？不要再啰嗦了。” 此时的薛岳已经完全听不得别人的任何建议了。而且对手下的师长也是傲慢异常，挥来斥去，弄得上下离心，信息不畅。 此战，日军抽调总计约10个师团的兵力及各特种部队，分别集中于崇阳、岳阳、华容一带地区，即以约7个师团为第一线兵团、以3个师团为第二线兵团。 5月26日，日军分三路向南挺进，一路攻陷多处要地，到了6月18日清晨，日军已突破竹山，冲至岳麓山，袭击了国军控制长沙的炮兵阵地。紧随其后，桃花山也告失守，薛岳调来的增援部队尚准备渡河之际，岳麓山核心阵地已失守，守军四面受日军包围，无法支持战斗，被迫退出岳麓山。 日军一路尾击，撤退的国军队伍被打散，陷入混乱，官不见兵，兵不见官，无人掌握，直溃退至邵阳，始得收容，残部不到四千人。而残留在长沙的4个团，遭日军打击后，一部千余人，由北门冲出东山，沿途与日军厮斗一路，退至茶陵被第二十七集团军欧震所部收容。就这样，薛岳为自己的自负与骄傲，付出了惨痛的代价，导致长沙沦陷。 日军夺取长沙后，薛岳将长官部撤到耒阳。此时蒋介石来了电报，命令薛岳到湘西去指挥。薛岳将电报扔在地上说：“要我去给重庆守大门？不去！”但薛岳又要避开日军的打击，躲在粤汉路以东，不敢主动出击，于是威信大失，各部队对他的命令也不如以前重视。 日军在长沙得到休整以后，补充了兵员和弹药，开始向衡阳发起进攻。这时，守军第十军军长方先觉奉薛岳的命令，令第十军派预十师机动待命推进，其余部队由李玉堂指挥。 方先觉向军事委员会提出不同看法：日军先头已抵株洲、湘潭附近，预备第十师推进，恐怕目的地未达到而前后两误。衡阳重要，以现有兵力尚感无把握，若预备第十师再行推进，实感忧虑。分守湘潭及易俗河，就该处地形与兵力观察，将来收效甚微，抽回衡阳，定可发挥力量。 进犯长衡地区的日军兵力、火力占据优势，日军的后备第二线兵团，尚未加入战斗，各地守军的核心阵地就已放弃，态势极为不利，这时薛岳又提出所谓的：诱敌深入衡阳，乘其疲惫，再行与日军决战。但是此一时彼一时，前三次长沙会战，薛岳的第九战区在其他战区的支援下，兵力对进犯的日军占绝对优势，而这次日军进攻长衡的兵力空前，远超前三次进犯，而薛岳所掌握的兵力反而减少了。 日军钻隙突进，沿湘江东岸豕突狼奔，于6月23日来到衡阳近郊，与方先觉的第十军开始接触，另一股日军则东攻攸县，西攻湘乡，继续南进，以牵制国军外围部队而孤立衡阳之势， 衡阳守军方先觉部面对日军包围，从此陷于苦战。坚守城池40多天，伤亡惨重，阵地全毁，8月8日，衡阳失守。 长衡会战的失败，使薛岳声名狼藉，处境不佳，第九战区大乱，蒋介石与其他战区都来挖薛岳的墙角，他所能控制的军队大大减少。于是他一改过去不拿师长当人的态度，与手下的师长称兄道弟。他指令军队留在湘东南，并让广东籍将领欧震来指挥。许多高级将领纷纷落井下石，向蒋介石告状，惹得蒋对薛岳大光其火。至此之后，薛岳“常胜将军”的光环黯淡，再没有指挥过像样的战事。
