1953年，随着李弥被软禁，李国辉、谭忠去台湾后一个养鸡，一个摆摊卖小吃，金三角的残军再无灵魂人物。 金三角的国民党残军在全盛时期，超过三万人，这已然不是缅甸军队所能单独应对的了。就在残军总指挥李弥野心勃勃，在泰国曼谷的记者招待会上扬言要当“缅甸王”的时候，老挝、缅甸、泰国联合起来，不断在各种场合提出抗议。 在各方压力下，台湾的蒋介石不得不下令撤回金三角的国民党残军，李弥、李国辉、谭忠等残军的“灵魂人物”被首批召到台湾。 老蒋对李弥在跋扈行为，早就心怀不满，在他到台湾后，不再重用，也不许离开台湾，以防其溜回金三角，重新招罗旧部。 李国辉原是李弥第八军的团长，金三角残军的首任总指挥，到台后被解除军籍，开养鸡场维生，很快淡出了视野。 残军的首任副总指挥谭忠，因是余程万二十六军系统的人，在李弥去金三角后就遭到排挤，他到台后，境况还不如李国辉，在台北的夜市摆摊卖小吃维持生计。 没有首批撤走的残军，是根据台湾的指示，继续分批撤离，还是留在金三角，亦或另谋出路呢？对非云南籍的普通官兵及眷属而言，他们并不愿意长期待在水土不服的金三角地区，因此对去台湾并不是很排斥。 但掌握兵权的那些云南籍高级军官，却大部分不愿去台湾。这里面主要有三个原因： 其一，原残军总指挥李弥是云南人，他在时能压服部下，尤其是云南籍的官兵对他是服气的。李弥走后，再无云南籍的高级军官，可以震慑住其他人。 其二，老蒋担心李弥在金三角割据自雄，所以在决定撤军时，首先把李弥召到台湾后不许离开，由副总指挥柳元麟接任总指挥。李弥在黄埔四期生中，是最早担任国民党军兵团司令的几人之一，他作为老蒋的“天子门生”，到台后尚且遭到变相软禁，这让残军中的其他云南籍军官，自然对去台湾很有戒心，认为去后凶多吉少。 其三，接任残军总指挥的柳元麟，虽也是黄埔四期生，但能力比李弥大不如，加之他又是老蒋的浙江老乡，云南籍官兵对他既不服气也很排斥。 残军军长段希文，召集李文焕、雷雨田、李崇文等云南籍高级军官，商议对策。 段希文早年就读于云南讲武堂，毕业后长期在滇军任职。1949年12月，滇军五十八军在粤桂边作战中被解放军歼灭，时任该军师长的段希文化装后逃走，辗转来到了香港。 当时，李弥受老蒋指派，去指挥金三角的国民党残军，李弥到处搜罗原国民党逃散在各地的官兵，老蒋对李弥很是支持，要人给人，要钱给钱。 段希文的父亲段克昌在国民党内资历很深，曾任国民党军委会昆明行营中将军需总监、“监察委员”等职务，他和老蒋有一定交情，认为儿子若来台湾，发展空间不大，于是走动后，段希文被派去金三角，配合李弥经营金三角。 到金三角后，段希文获得李弥的重用，充当了左右手的角色。到了1953年，老蒋下令大撤军时，段希文认为自己既非黄埔生也未在老蒋的嫡系部队中任过职，去了台湾后，不会有什么好结果的。 其他云南籍的高级军官，也都和段希文态度相仿，于是大家很快就达成一致，留下最好，即便离开，也坚决不能去台湾。 当柳元麟召集残军高级军官开会，部署撤军计划时，在场的云南籍军官低头不语，只有残军游击纵队司令李崇文心灰意冷，对柳元麟说：“我对刀头舔血的生活厌烦了，也不想去台湾。泰国的曼谷不错，我决定去那里度过余生。” 会后，李文焕拉住李崇文说：“既然不去台湾，那就留下啊。” 李崇文说：“你经营多年，归你指挥的有二千多人，留下了自然无妨。我这个少将纵队司令，听起来唬人，其实就管了二百多人，连个营长都不如。官兵们这几日吵闹着要离开，我心烦意乱，索性不管了，想去台湾的让他们去，想去泰国的跟着我走，愿意留下的，我也不反对。“ 李文焕说：“你让手下都不要去台湾，全都留下，你到兄弟我的军来当副军长，大家联手，柳元麟也得忌惮三分。” 见李崇文不为所动，李文焕又去找段希文劝说。李文焕之所以不愿李崇文离开，这里面有个小心思，那就是看上了李崇文指挥的二百多官兵，想趁机吞并。 段希文拉着李崇文的手劝说：“你我兄弟都是云南人，在此危急时刻，应当联合起来。” 李崇文说：“我心意已决，你不用再劝了。我走后，留下的官兵，就交给你和李军长（李文焕）了。” 在残军第二批撤离时，李崇文向柳元麟交接了手头的军务后，带着几个亲信离开金三角，去了泰国曼谷。 为了避免出现更多的李崇文，段希文、李文焕牵头，将残军云南籍主要军官全都召来，一番说辞后，在场军官都表示愿意留下，同生死共进退。 到了1954年春，金三角的三万多残军及眷属，大部都撤到了台湾。在大撤军之前，柳元麟这个总指挥的话语权还是比较强的，但随着大撤军的结束，柳元麟对剩余残军的控制度大减。这倒很好解释，留下的六千多残军，段希文、李文焕、吕维英、甫景云这四个云南籍军长的部队占了一大半。 柳元麟能实际指挥动的，只有残军总部直属的一千多人，在这种实力对比下，残军内部很快分崩离析，各自为战。
