庐山会议后，彭老总闲居住进了吴家花园。

之后彭老总在吴家花园赶上我国三年困难时期，人民的日子过得很艰苦，粮食完全不够吃，孩子们也因此饿得面黄肌瘦，更有甚者还患上了浮肿病，每次看到吴家花园的孩子们，彭老总心里都非常的难受：“你看，孩子们怪可怜的，总得想个办法呀。”

当时，村里办了一个集体食堂，彭老总碰到孩子打饭回去，他的心里极度不平静，于是他常常会将自己吃的东西分给孩子们，有时候还会掏钱让孩子们去买点吃的。

彭老总经常会嘱咐孩子们要好好学习，让他们长大之后为国家出力，在听到谁家的孩子在学校里受到表扬，谁加入了少先队，他的心里都为对方高兴。

一次，一个戴红领巾的小姑娘朝着彭老总飞奔而来，一边跑一边高喊：“彭爷爷，我已经成了少先队员了。”彭老总满脸高兴地将小姑娘抱起，并不断地嘱咐对方要做毛主席的好学生，然后他将自己随身携带的一支新钢笔送给了这个小姑娘，不多久，他又给小姑娘买了一个书包。

来到 吴家花园没多久，彭老总就对警卫员景希珍说，他是一个闲人，不能为国为民出力了，不应该让别人再照顾他了，将炊事员、公务员和司机都减掉吧，这样做还能为国家节约一些开支。

景希珍：“这怎么可以呢。他们到这里来，是组织上决定的......”彭老总仍旧坚持，让景希珍他们将他的意见和有关方面反映一下。

后来，彭老总又多次提到了这件事，景希珍他们拗不过对方，只能去找中直党委反映这一意见。中直党委的同志说：“需要请示领导。”后来，领导这边给出了答复：“彭总身边工作的人员不能减。”

彭老总听到这番话后依旧很坚持，最后，领导上同意减掉他的公务员。

公务员离开后，打扫卫生和洗衣服这些事情，彭老总都一力包揽了下来，他每天起床后都会将屋子打扫得干干净净，他的身上依旧穿着带补丁的衣服，但是洗的非常的勤快。

后来彭老总还坐下来做针线活，他戴着老花镜忙着穿针引线，缝补他那件破烂不堪的细毛线衣。

在抗美援朝时，彭老总就穿着这件细毛线衣，后来当了国防部长依旧穿着，之后两个胳膊肘都磨破了，还拿出去让人家补。

景希珍看着他又在缝补这件衣服，便劝对方重新买一件。

彭老总抬头说：“你忘了，老百姓有一句话，新三年，旧三年，缝缝补补又三年。”说完又继续缝了起来。

缝完以后，彭老总还将衣服穿在身上，照着镜子说自己缝好了。

1965年9月23日，彭老总散步回来后，客厅电话响起，放下电话后，彭老总激动万分，毛主席约他八点半前谈话。为此，彭老总还专门刮了胡子，又换了一身干净的衣服。

当汽车停在丰泽园后，彭老总激动的腿肚子都直打哆嗦，当警卫战士朝着他敬礼时，他立刻举手还礼，姿势依旧非常的标准。

在交谈中，毛主席和彭老总提出，现在要建设大小三线，他去西南最为合适......之后，毛主席又补充道：“也许真理在你这边......”

彭老总似乎又回到了战争年代被统帅点兵的岁月，他肚子里面的委屈也烟消云散，他立刻和毛主席表态，愿意去西南。

这次谈话进行了五个半小时，一直到下午三点左右，毛主席还和彭德怀以及刘少奇等人喝了酒，彭德怀离开之前，毛主席、刘少奇和朱德等中央领导人还将他送了出去。

小车慢慢开动，彭德怀扭头后发现毛主席他们一直站在门口，朝着他不断地招手。

临行之前，彭德怀把自己将要去三线工作的事情告诉了浦安修，其实，他们夫妻已经两年多没见面了。11月28日，彭德怀乘上列车，身上穿着一件染成黑色的军呢大衣，他彻底告别了吴家花园，投入到新的战场上。