1945年初，覃异之被调去青年军当师长，关麟征坚决反对，直接打电话去重庆，陈诚告知他这是蒋介石亲自签发的任命，关麟征这才作罢。 对覃异之被调离，关麟征很是不满，发牢骚说：“我本想把他留下当52军军长，却被老头子调走了。” 52军是关麟征的起家部队，可见他对覃异之的看重。当时，军政部长陈诚将青年军的师长人选名单递给蒋介石审阅时，蒋介石看了后，圈掉胡宗南推荐的一人，把覃异之的名字补上。 覃异之在关麟征的第九集团军总部办完手续后，又将家人安顿好，这才去重庆找陈诚。陈诚对覃异之：“你这个师长，是委员长钦点的，去万县找总监罗卓英。” 当覃异之来到万县的青年军编练总监部报到时，罗卓英说：“几个师长就你姗姗来迟，要不是有委员长的手令，我早都报请重庆换人了。” 青年军的师长，和国民党军的军长是平级的，比如原第十军军长方先觉，这次就被调任为青年军第207师师长。 覃异之到任后，加紧训练部队，用各种办法提振士气。5月，蒋介石到万县视察部队时，对覃异之说：“你的204师很不错。” 几个月后，蒋介石带着白崇禧视察完青年军其他几个师后，对白崇禧说：“还是204师好一些。” 抗战胜利后，蒋介石改组军委会，想让覃异之到他身边来，蒋经国也对覃异之说：“老头子身边旧思想的人太多，很需要你这种人。” 覃异之推辞说：“我性格直来直去你也知道，长期都是带兵的，去侍从室恐怕干不了细致的工作。” 蒋经国说：“既然不愿意去，那就不强求了，老头子那边我去说，你继续带部队。” 1946年5月，李济深到万县秘密会见了覃异之，对他说：“蒋介石就要发起对解放区的全面进犯了，你要找借口不要参与进去。” 如何能避免参战呢？覃异之思前想后，最后有了主意，他打报告请求204师去台湾训练、接收美械，蒋介石很快就同意了。 1947年9月，在台湾的覃异之接到南京发来的电报，说蒋介石要紧急召见他。见面后，蒋介石对覃异之说：“你在52军当过师长和副军长，情况熟悉，这支部队就交给你负责，你马上飞去东北，我让王叔铭给你安排飞机。” 就这样，不容覃异之拒绝，他在见完蒋介石几天后，就被空军副司令王叔铭派飞机送去了沈阳，与此同时，南京也发表了他为第八兵团副司令兼52军军长的任命。 覃异之到东北后，一刻也不想待。一来，覃异之不想卷入旋涡；二来，52军是关麟征的老部队，和关麟征交恶的陈诚接替熊式辉到东北担任行辕主任后，大肆更换军事主官，52军则是重点调换的部队，可就在陈诚将第52军军长梁恺、副军长兼第12师师长刘玉章等人撤职后，蒋介石却将覃异之派来了，对此陈诚心里很不痛快，对覃异之自然没有好脸色。 为了尽快离开东北，覃异之走了白崇禧的关系，在1948年初当选为广西的“国大代表”，然后以此为由去南京开会。在离开时，覃异之让刘玉章代理52军军务。 到南京后，覃异之在蒋介石召见时，以身体有病为由提出辞职，并推荐刘玉章接替军长职务。 蒋介石听了后有些不高兴，说：“刘玉章当军长的事情，随后再说，你先去看病。” 1948年11月，在蒋经国的推荐下，覃异之担任南京卫戍副总司令。后来，蒋介石下野，代总统李宗仁要求释放关押在南京的政治犯。 南京卫戍司令张耀明左右为难，放人吧，溪口的蒋介石肯定不同意，不放人吧，又把李宗仁给招惹了。于是，张耀明采取拖延战术。 覃异之去找李宗仁说：“你直接下达手令，我来放人。” 拿到李宗仁的手令后，覃异之将关押的300多人释放，其中有进步人士也有地下党。蒋介石得知后，非常震怒，打电话将京沪杭警备总司令汤恩伯大骂一番。 汤恩伯气势汹汹的去卫戍司令部问责，张耀明不知如何回答，覃异之拿出李宗仁的手令说：“这是代总统让放的人，我们也只能执行啊。” 此事过后不久，张耀明叫来覃异之说：“刚才汤司令打来电话，说九十七师师长王晏清有问题。你看怎么处理？” 覃异之说：“有没有确凿证据，把人抓了恐怕会影响军心。” 几天后，汤恩伯打来电话，让卫戍司令部派人扣押王晏清，张耀明将王晏清叫来“问话”时，暗示他马上逃离。 当王晏清率部起义后，汤恩伯责问张耀明、覃异之时，覃异之说：“王晏清的师长是总裁亲自任命的，没有溪口的命令，我们也不好抓人啊。” 汤恩伯听了之后，觉得很有道理，于是便发了一通“用人不当”的牢骚后离开。 汤恩伯指示卫戍司令部在撤离南京时，将能破坏的设施全部破坏。张耀明犹豫不决，在覃异之的劝说下，没有进行破坏，并派人维持火车站、水电厂、码头等地的秩序。 当覃异之来到上海后，汤恩伯想举荐他当警备副司令，覃异之婉言拒绝。在上海解放前夕，覃异之找了个借口去了广州，之后又举家前往香港。 在香港，覃异之受命进行策反国民党将领的工作，后来由于身份暴露，在特务筹划对他的暗杀时，他被安全接回了北京。 晚年的覃异之，曾赋诗表达对祖国统一的渴望：耄耋联欢来两岸，万人翘首盼佳音。
