1944年5月30日，方先觉受命指挥第十军固守衡阳。第十军成名于第三次长沙会战，当时全军官兵死守长沙，与日军激战四昼夜，方先觉时任该军师长，以“死守长沙获猛将之名”。 方先觉接到固守衡阳的命令后，除派第三师前往湘潭，在易俗河南岸布防外，自己亲率预十师、一九0师进驻衡阳，日夜赶修工事，经过20多天的奋战，工事全部完工。 6月18日，长沙失陷，衡阳成了日军下一步攻取的目标。衡阳城地形特殊，城东有湘江，北有蒸水，西面为密布鱼池与水塘之沼泽地区，南面为丘陵山地。方先觉判断日军可能以西南面和南面作为进攻重点，所以将防守重点置于这两个方面。这是一个很明智的预见，因为来犯的日军果然把进攻的重点指向了上述两个方面。 6月26日拂晓，日军在衡阳西南、西北、西面和南面同时发起攻击。方先觉指挥第十军依托工事，顽强还击。 日军攻打守军更多的长沙前后只用了四天，所以参战日军非常的骄横，却不想在衡阳遇到了对手。进攻的日军在战斗中伤亡惨重，被迫在7月2日夜间暂时停止攻击。强攻受挫后的日军曾佯装撤退，企图调虎离山，但被方先觉识破，固守不出。日军只得加紧补充弹药和兵员，准备发动第二次进攻。 骄横的日军在衡阳受到顽强的正面阻止，蒋介石也发现了其后方空虚，在白崇禧的建议下，于7月1日电令周围国军从侧背猛攻日军，希望瓦解日军的攻势，可惜参战国军各自为战且有不少保存实力的，导致衡阳城无法解围。 7月11日，日军在获得补充后，再度发起攻击。为了攻克衡阳，在第二次总攻中，日军使用了大量的燃烧弹和毒气弹，在空军和炮兵的密切配合下，不断向第十军阵地猛扑。衡阳守军愈战愈勇，很多阵地都是战至官兵全部阵亡才告失守。 在衡阳保卫战中，第十军官兵受伤后，除非失去行动能力，往往都留在阵地上继续作战。由于日军擅长白刃战，守军就以手榴弹作为近距离五十公尺以内的决战兵器，这种威猛战法令日军感到畏惧。 日军在付出巨大伤亡后，逐渐攻占了衡阳周边的守军据点，但退守城内的第十军坚持抵抗，战局又陷入胶着状态。进攻的多次受挫使日军指挥人员内部发生分歧，20日再次停止攻击，以进一步确定作战方针。 在日军对衡阳发动第二次强攻期间，蒋介石也确实很努力地部署衡阳城的解围战斗。7月12日，蒋介石致电第九战区，令六十二军由衡阳西南迅速猛攻敌背后，七十九军协同六十二军向衡阳西北郊进击，六十三师由北向南攻击，以“速解衡阳之围”。 但是解围部队遭到日军顽强的反击，进展不大。7月25日，蒋介石再次组织解围战斗，除令原有的六十二军、七十九军等部再度向衡阳城增援外，又令第四十六军、七十四军一部投入战斗。但由于诸多原因，到29日各路援军再次被击退。第二次解围战斗也宣告失败。衡阳城的方先觉部成了孤军。 7月27日，蒋介石电令第四战区抽调一个军救援衡阳，并令其他援军再次反攻。日军第11军司令横山勇为避免前后夹击，腹背受敌，在28日下令对衡阳发动了第三次攻击。 横山勇来到衡阳前线亲自指挥，并下令增调兵力支援。日军的总攻击在飞机和野战重炮的支援下展开，但守军的抵抗依然坚强，战况并未有太大的进展。 8月2日蒋介石电告方先觉，称“各路援军急进，望固守”，但实际上援军在日军阻击下根本无力解围。 7日，衡阳城门被攻破，守军与日军进行激烈巷战。蒋介石再度致电方先觉让其坚守。此时，衡阳城内的第十军孤军喋血已经48天。 方先觉在8月7日下午，给蒋介石拍电报说：“敌人今晨自城北冲入以来，即在城内展开巷战。我官兵伤亡殆尽，此刻再无兵可资堵击。” 日军在作最后攻击的同时，开展了心理攻势，对守军进行劝降，并承诺只要投降保证生命安全。 7日下午3时，衡阳守军第九团首先在天马山阵地举起白旗，其它阵地见状，亦都先后停止抵抗。大势已去，方知觉怀着复杂的心情拟好投降的条件。 8日晨，当方先觉率10余名第十军高级将领会见日军代表时，日军提出无条件投降的要求，方先觉答应了。 衡阳保卫战，第十军以17500人的兵力，同约5个师团的日军浴血死战，固守孤城近50天。日军在攻占衡阳付出了沉重的代价，伤亡数倍于守军。衡阳之战日军伤亡数字一直有争议，但是参战的日军第11军在衡阳会战后陆续补充新兵将近10万，这是日军伤亡巨大的一个佐证。 美国副总统华莱士致电蒋介石，对衡阳之战推崇备至，并表敬意。就连日军也对衡阳守军的英勇表示钦佩，衡山勇认为攻占衡阳之战是日俄战争中日军攻占旅顺之战的缩影。 当时身临战场指挥空军配合衡阳作战的陈纳德，也认为衡阳之战是对那些恶意宣传“华军不作战”的言论的有力驳斥。 方先觉后来逃脱出来，辗转回到重庆。蒋介石见到他说：“回来啦！好！好！我每天都在为你们祈祷”。 ? 对比不久前因长沙丢失而被枪决的第四军军长张德能，可以看出，虽然方先觉有了投降这个不好的名声，但在最终的处理上，还是体谅了他的处境。
