庐山会议后，毛主席的警卫员古远兴去看望彭老总，小声说：“你总说我比你倔，其实你比我还倔。”

古远兴走进吴家花园时，彭老总已经不再主持军委工作。
院子里还有警卫和工作人员，中央党校的干部也按安排来往。多年以后，古远兴讲起这次见面，提到一句很有分量的话：过去彭老总总说他犟，如今看起来，彭老总自己更犟。

两个人见面时的处境，早已和战争年代不同。
古远兴曾任毛主席警卫员、警卫队长，新中国成立后进入中央警卫系统，先后担任中央警备团副参谋长、警卫一师参谋长、副师长等职。

他已经不是跟在首长身边跑腿的年轻警卫员，而是长期从事中央警卫工作的干部。

彭老总的变化更大。
1959年9月17日，他被免去国防部长职务；9月26日，不再担任中央军委委员；9月30日，从中南海搬到北京西北郊挂甲屯吴家花园。原来每天处理军队事务、参加军事会议的生活停了下来。

十几天以后，他以中央党校特别学员身份开始政治学习。

但那扇院门并没有从此关闭。
安置彭老总到吴家花园时，彭真、杨尚昆、安子文等到过那里，中央党校伍辉文、刘子正等人也被叫到现场。党校随后安排两名教研室干部帮助他学习哲学和政治经济学，伍辉文大体每月看望一次，刘子正负责经常联系，有需要便向上反映。

彭老总的党组织生活也放在中央党校。

这几项安排把他的处境划出了一条很清楚的界线。他已经退出军队实际领导岗位，却仍保留国务院副总理职务；失去了原来的军事权力，组织生活、警卫、学习和必要的人事联系却没有同时取消。

副总理职务一直到1964年12月至1965年1月召开的第三届全国人大第一次会议才结束。

古远兴就是在这样的环境里去看彭老总的。
所以，那次见面并不是一个警卫员偷偷闯进无人敢进的院子。伍辉文在去，刘子正在去，学习秘书也在按安排工作。古远兴长期处在中央警卫系统，又与彭老总早有接触，他走进吴家花园，有旧日关系，也有现实工作条件。

吴家花园里的彭老总并没有把日子过成单纯的闭门闲居。
1959年10月至1960年2月，他集中学习哲学著作，留下约六万字笔记。1960年，中央党校学习苏联《政治经济学教科书》，连续讨论二十多次，他每次参加；同年学习《毛泽东选集》第四卷，又连续参加二十八次讨论。

院子里还有一小块地。
他自己翻地、种麦，1960年收成折算下来，亩产七百多斤。中央党校刘子正在党校种麦，精心管理后的产量也接近七百斤。两处数字相差不大。曾经在庐山会议上谈到农村和粮食问题的彭老总，此时没有军队会议可以参加，却仍在盯着土地究竟能打多少粮。

到1961年，他又提出下去看看。10月30日获准离京后，彭老总回到湖南调查，走访家乡和农村，12月下旬回到北京，随后把调查所得整理送交中央。

吴家花园限制了他的工作位置，却没有让他停止观察外面的农村。

1962年，事情又向前走了一步。
6月16日，彭老总给毛主席和党中央写下长信，申述自己的历史，要求全面审查，并否认自己组织“反党小集团”和“里通外国”等指控。8月22日，他再次写信要求审查。随后，两封信在八届十中全会上受到批判，他的处境进一步恶化。

古远兴当年想到的那个“倔”字，到这里才有了更具体的分量。

彭老总没有重新掌握军权，也没有冲破组织程序另找道路。他参加党校学习，获准后回乡调查，回来递交调查情况；对涉及自己的指控有不同意见，就继续写信，请求组织审查。

这种状态一直延续到1965年。那年1月，他不再担任国务院副总理。9月23日，毛主席在中南海同他谈话，随后彭老总被安排参加西南三线建设，担任西南三线建委第三副总指挥。11月28日，他离开北京赴成都。

吴家花园住了六年。
古远兴去看他的那一次，只是这六年中的一个小片段。那句“你总说我比你倔，其实你比我还倔”，最终没有当面说出来。

可院子之外，党校干部还在来往；院子之内，书继续读，地继续种；后来又有湖南调查和一封接一封写给中央的信。

1965年11月28日，彭老总收拾行装离开吴家花园。那座院子的警卫任务随之改变，他也从北京去了西南。