1944年9月，蒋介石有意让陈诚取代何应钦担任军政部长，何应钦气得大骂：“陈诚算个什么东西，我当师长时，他才当连长！” 10月，蒋介石找何应钦谈话，“敬之啊，你身兼数职实在忙不过来，保个人任军政部长吧。” 何应钦一时没有反应过来，连忙说：“不忙，我一个人完全忙得过来。” 但不久蒋介石旧事重提，何应钦这才明白，蒋介石真要拿下他当了14年的军政部长，于是明确推荐顾祝同接任，蒋介石却提名陈诚。陈诚当上了军政部长后，何、陈矛盾日益加深，两人的地位也开始逆转。不过，当时为了安抚和补偿何应钦，蒋介石任命何应钦为同陆军总司令。 抗战胜利后，蒋介石撤销国民政府军事委员会，设立国防部，白崇禧任国防部长，陈诚担任参谋总长。何应钦仅仅被任命为重庆行营主任，到了更是被打发去美国当了军事代表团团长。 何应钦在美国生活上还是很惬意的，可“梁园虽好，终非故乡”，他在任职一年多后，又被召了回来。此时桂系李宗仁在白崇禧的帮助下成功竞选副总统，蒋介石一气之下，免去了白崇禧国防部长之职。而国民党主要将领诸如陈诚、顾祝同、胡宗南等人是连战连败，刘峙、蒋鼎文等人又是不堪大用，“蜀中无大将，廖化作先锋”，无奈之下，蒋介石再次起用已被逐出权力中心的何应钦，让其接替白崇禧空下的国防部长一职。 1949年1月蒋介石下野后，行政院长孙科辞职，代总统李宗仁提议由何应钦出任行政院长。仍在幕后掌控大权的蒋介石起初坚决表示反对，但为了与桂系抗衡，蒋介石认为何应钦仍有可利用价值，最终还是点头同意了。何应钦也算是在逃台之前，过了一回行政院长之瘾。期间，在3月11日何应钦60大寿时，蒋介石派蒋经国去祝寿，修复了两人之间的关系。 随着国民党军兵败如山倒，蒋介石与李宗仁的矛盾更加表面化，并相互推卸责任。何应钦既不敢得罪蒋介石，又对困境中的李宗仁颇多同情。作为行政院长兼国防部长，何应钦名义上可以调到所有的国民党残军，但当他试图命令宋希濂部到湖南常德、芷江一带构筑防线阻止解放军南下时，宋希濂却将部队退到湖北恩施，并表示只听从蒋介石指挥。 何应钦何尝不知自己这个行政院长与国防部长并无实权，但“表面文章”总是要做的。而在蒋介石与李宗仁的斗法中，任何工作都无法开展，5月30日，何应钦内阁全体辞职。李宗仁一再挽留，何应钦说：“德公，你如果要我继续干下去，我只有两条路可走，一是逃亡，二是自杀。” 何应钦辞职后，原准备前往美国当寓公，安度晚年，他在在美国当军事团长期间，就在美国购置了别墅，为自己留了退路。但蒋介石命令何应钦必须火速赴台“甘苦共尝”，并为他准备了专机。 当时许多追随蒋介石多年的国民党要人纷纷逃亡海外或滞留香港，何应钦为此做了一番思想斗争。何应钦心里明白，在非嫡系者看来他是蒋介石嫡系，而事实上他又与蒋介石有着种种隔膜。蒋介石对其爱之加膝，恶之坠渊，他心里自然忐忑。但最终他还是听从了蒋介石的召唤，携家眷飞往台湾。 何应钦乘坐蒋介石的特派专机举家迁台，下飞机后却无安身之所，甚至无人过问。好在时任台湾警备总司令的钮先铭见老长官如此落魄，将自己居住的位于台北牯岭街的一幢小楼让给何应钦一家。这幢小楼产权属于台湾省物资局，看上去毫不起眼，但对何应钦一家却是雪中送炭。 驰骋疆场大半生的何应钦，此时闲下来深居简出，“闭门思过”。其所思之“过”，便是参与桂系反蒋与西安事变中的主战，生怕蒋介石算旧账拿他开刀。在台湾的何应钦处处如履薄冰。好在蒋介石正忙于复出，对何应钦也只是偶尔垂询一下“廉颇老矣，尚能饭否”。 1950年8月，“改造委员会”正式成立，16名委员全部是听命于蒋介石的，其中陈诚居首。而何应钦、顾祝同、阎锡山、张群、白崇禧等元老毫无疑问成为了被改造对象。两年后“改造”结束，为了抚慰何应钦等元老，蒋介石特设“评议委员会”，并亲自提名48人为该评议委员会委员，何应钦便为其中之一。对于这个安置，何应钦无话可说，只能是接受。陈诚是何应钦相斗多年的对手，如今再次得势，何应钦本应难以接受。然而何应钦的长处之一，便是得势时少有骄矜，失势时能够自我调节，泰然处之。 为了表明自己乐于接受目前处境，何应钦对文体娱乐活动热衷起来，开始了“三打一跳”的休闲生活。所谓“三打”，即打猎、打网球、打高尔夫球。何应钦年轻时便热衷打猎，此时在靠边站的原国民党要员中，何应钦、白崇禧、杨森的三支著名猎队鼎足而立，“威名”远扬。所谓“一跳”，即社交场合中的跳舞。在与一帮释权赋闲的老朋友、老部下以及黄埔军校时期结下生死之交的难兄难弟的酬酢往来中，何应钦由于不胜酒力，尤其喜欢跳舞。 这“三打一跳”使蒋氏父子真正看清了何应钦安于命运的心态。蒋、何的关系反倒一步步融洽、热络起来，以致“总统府战略顾问委员会”主任这一闲职，何应钦一直担任了20多年。