1961年5月，国民党残军总部撤台后，台湾停止了不愿撤台残军的一切供应。留在缅北的残军5000余人，则分别由段希文、李文焕、马俊国掌握，各自为政，各霸一方。不久，因生活补给没有着落，残军人员纷纷逃亡，各自寻找出路。 原第二十五师师长曾德兴率部500余人，窜到老挝，投靠当地武装；马俊国率残部投靠台湾情报局，改编为“行动纵队”，专门从事武装特务活动；段希文率第五军2000余人窜至泰缅边境的孟放、回中坡地区，收编吕维英从老挝富米带回的残部和屈鸿斋部李文焕率第三军窜踞泰老边境景康山区和泰缅边境的景老山区。 台湾方面为了控制利用段希文、李文焕，于1961年令驻泰国清迈代表杨文湘传达台湾的所谓“关怀爱护”之意，要段希文、李文焕服从台湾的决策。 李文焕以“化整为零，以求生存”拒绝把部队撤往台湾，并对其部属说：“总部叫别人去台，我管不着，十三师是不去的，镇康弟兄我要带着，弟兄们去台湾回不了家，见不了爹娘。” 杨文湘向台湾报告：“李文焕主要精力在当地做大烟鸦片生意。”段希文在一次招待台湾派来的要员的宴会上说：“有人指责我违背上级命令，才陷入今天的困境，如果上级认为我还有用，我当鞠躬尽瘁，否则唯盼了清一切手续，候命行止。”至此，台湾停止了对第三军、第五军的补给。 1963年，台湾为了让残军配合东南沿海的军事窜扰，先派情报局副局长沈之岳、特情室主任徐仁隽、监察委员段克昌等人赴泰北，到段希文、李文焕两部“视察”，以恢复补给为诱饵，策动两部对云南边境进行窜扰破坏。 段希文、李文焕二人也有求于台湾补给，所以从1963年至1966年9 月30日多次由第三军、第五军派出小股武装向云南潞西、孟连、沦沅、镇康等县进行武装窜扰。残军虽被解放军边防部队打死27人，俘虏11人，但台湾仍要段、李两部作出更大的“成绩”来，否则不予补给。段希文、李文焕却因此感到，窜扰云南边境费时长，损失大，因而停止了窜扰行动。 1966年10月和1967 年3月，蒋介石、蒋经国两次亲自召段希文、李文焕到台北，商谈三、五军统一合作事宜，原则上同意恢复对国民党残军的补给，但未作具体承诺。1968年3月，台湾又派罗汉青到曼谷，发给慰问金2万美元，继续商讨“节制”问题；年底，台湾又单独召见段希文。 1969年5月，蒋经国亲赴泰国，7月，又派参谋次长易瑾、特种作战部队司令夏超到段、李两部商谈补给整编问题，条件是要兵不要官，老弱一律不要，军官重新调整，整编后由易瑾、夏超、项成豪任正副指挥宫、参谋长。 段希文、李文焕召开骨干会议研究，认为台湾条件苛刻，旨在瓦解其部，从而拒绝了台湾的条件，不接受改编。1970年1月，台湾情报局局长叶翔之再赴泰北，进一步施压，让段希文、李文焕接受改编。段、李两部从两次撤台的教训和本身利益出发，怕改编后丢掉老本，但又想得到台湾的补给，很是矛盾，因此长时期讨价还价，却始终不同意改编。 段希文、李文焕多年乞求台湾补给无望，决定投靠泰国。从1970年2月至10月，李文焕派代表与泰国军方经过六次会谈，于10月17日正式达成协议。泰国军方同意残军三、五军以“移民”方式进踞泰北境内，青壮年编入泰国地方自卫队，待遇与泰国边防警察相同，担任泰、缅、老边境一线的驻防任务，老弱病残的官兵和家属迁入泰北清莱府帕蒙山和雷銮山居住、生产，每人分地1莱（2. 4亩），由泰国军方供给一年的生活费，从1970年10月份起进行补给。 台湾获悉后，通过原总指挥柳之麟专函致段希文、李文焕，劝阻三、五军不要接受泰国补给，有什么困难，台湾都同意解决。1972年10月叶翔之再次赴泰向段、李表示，愿意恢复补给。 段希文、李文焕认为此时接受台湾补给“害多利少”，当即拒绝。李文焕通知所属部队：“余意：没有补给十余年，我们都撑过来了。我们如再接受台湾补给，短时内官兵生活固可稍加改善，但泰国的压力必定很大，到时非逼着撤台不可。”接着，段希文、李文焕要求各部不再准台湾特务人员进入驻地。 残军进入泰北后，曼谷的大学生代表发表声明称“不允许其残军在泰国国土上”，要求残军“撤出泰国国境”或“解除武器”。残军知道缴出装器就意味着死亡，但泰国军方还是要收缴，残军只好一面交出旧式武器，一面再向商人购买新式武器，既应付了舆论，又更换了装备，以免被吃掉。 至此，残军算是彻底脱离了台湾的控制，也不再联系，被泰国以“移民”对待，并逐级融入当地。
