1931年春，蒋介石邀请吴佩孚到南京会晤，这引起了吴佩孚的惊恐，去的话大概率会遭到软禁，不去的话接下来恐怕就要采取手段了。就在吴佩孚左右为难的时候，张学良派奉天省长宋杰生为代表入川见吴佩孚，吴佩孚的老部下于学忠也从北平寄来信，考虑再三，吴佩孚决定还是去北方可靠。 但是，蒋介石是断不会同意吴佩孚去北方的。因为那样一来，吴佩孚就如鱼得水，后患无穷。但吴佩孚也是老谋深算，他一再向蒋表示准备东下前往南京，然而实际上则准备金蝉脱壳，伺机北上。蒋介石虽未发现吴佩孚的企图，但也防了一着，通知四川军阀刘湘监视吴佩孚的行动。 吴佩孚对北上的计划作了周密布置，他于1931年5月22日离开驻地下八庙时，发出一纸电文作为烟幕，电文表示他将动身前往南京。这是吴佩孚在明修栈道，暗度陈仓，准备通过川北进入甘南，然后决定是否再赴北平。 除了极个别亲信，谁也没有察觉吴佩孚的行动计划。成都和川北军阀，纷纷电请吴佩孚光临，连刘湘也准备在吴佩孚游峨嵋、青城之后，通过他的防地东下去南京。吴佩孚到处受到礼遇，四川的军阀们欢迎和款待他，各有各的考虑。 军阀杨森和吴佩孚关系很好，他以为吴佩孚真的要去南京，劝告说：“蒋介石阴险万分，口蜜腹剑，不可轻信。”军阀邓锡侯也支持杨森的意见，吴佩孚生怕暴露计划，造成不测，只是含糊其辞。 蒋介石在南京等待吴佩孚，并一再电催前往。吴佩孚则不慌不忙，在游览成都等地名胜之后，突然给了南京一个冷不防，神不知鬼不觉地由灌县西行，穿过原始森林的荒凉地带，进入了甘南。这一行动主要是靠邓锡侯的支持，灌县一带是邓的防区，由于他派人一路保护，使吴能顺利实行自己的计划。 当吴佩孚留在重庆的秘书长陈廷杰向刘湘表达吴佩孚不能东下时，刘湘顿时哑口无言，因为他没有完成蒋介石交给他的监视任务，使吴从他鼻子底下溜走了。 吴佩孚入甘，是有其深谋远虑的，他计划联络西北地区各派势力，积蓄力量，重整旗鼓，吴佩孚的政务处长刘泗英也四处活动，拉拢各方实力人物。蒋介石当然不会坐视吴佩孚东山再起，与之抗衡。他向各方施加强大压力，分化瓦解，迫使这次拥吴出山的闹剧很快收场。 吴佩孚并未死心，他与张作霖尽管有二次直奉大战的恩怨，但是也是昔日北洋的同僚，之后两人还联合过，所以他与张学良一直以叔侄相称。吴佩孚满以为，张学良的力量是可以利用的，他摆出大元帅的架子，想使张学良折服。 1932年初，吴佩孚到达北平，当张学良率大员在西直门车站进行盛大欢迎时，见面后，吴佩孚却故作姿态，未及寒暄，就匆匆驱车到自己的住宅东城什锦花园。第二天，在部属相劝之下，吴佩孚到顺承王府见张学良，刚入座，就站起来质问：“沈阳事变，你为什么不抵抗？” “我有命令！”张学良抗声道。 吴佩孚说：“将在外君命有所不从，这个道理你难道都不懂？”话不投机半句多，吴佩孚坐了一会儿，便告辞而去。 第二天，张学良回拜吴佩孚，吴还是劝张反攻东北，并表示他可以领兵。张学良无可奈何地说：“此事岂是你我所能做主的。”其实，吴佩孚也过于一厢情愿，即使张学良允许他带兵，当年直军和奉军打得可是相当厉害，东北军（奉军）将领会听吴佩孚这个昔日对手的话吗。 从张学良的态度上，吴佩孚感到借助张学良的力量东山再起，已成为不可实现的泡影。吴佩孚到北平后，张学良曾请示蒋介石对付办法，蒋答以“敬鬼神而远之”，于是张学良除礼节性拜望外，再也不多谈其他事情，起初来的次数还算多，随着时间的推移，后来拜望也不多了。 从此，吴佩孚只好在什锦花园里，关起门来做“大帅”。除了对人发发牢骚外，只能做两件事排遣时日：一是明里写诗作画，讲述春秋易礼，以示自己没有野心；一是暗里联合旧部，等待时机。 不久后，由于热河失陷，张学良成为替罪羊北平下野，北平军分会代主任由何应钦替之。何应钦根本不买吴佩孚的帐，到任后以武力为危险，强迫将在北平的吴佩孚本就不多的余部遣散，吴佩孚家的门卫都换成了警官。 然而，吴佩孚的狂妄之态却不减当年，每每与人谈话时，总说：“别人说无有办法，而我则说吴有办法，我吴佩孚是有办法的。” 当有人问吴佩孚有何办法时，吴佩孚似痴似狂地说：“我的潜在势力大得很呀！我的势力深入华北各地，只要我一声号召，马上就可以大军云集。” 人们听了只能一笑而已。谁都明白，吴佩孚已经山穷水尽，何来一兵一卒？至此，这个昔日的民国风云人物，开始了寓公生涯。
