1936年夏，段祺瑞因贪吃西瓜，腹泻不止，每况愈下。医生让他吃荤，增强体质，可他不听：“人可死，荤绝不能开! ”结果，问题大了!
1920年直皖战争的失利标志着段祺瑞政治生涯的一个重大转折点。在这场战争中，他所依赖的五师一旅皖军迅速瓦解，仅仅经过短短五日，便宣布解散，使段祺瑞不得不面对自己权力的丧失。这场战争的失败迫使他通电下野，并最终选择在天津寓居。
在天津的日子里，段祺瑞的生活发生了显著的变化。他开始了吃斋念佛的生活。他的日常除了宗教活动，还包括与棋友们切磋棋艺，似乎在这种智力游戏中寻求精神上的对抗和挑战。尽管朋友和医生多次劝他改变饮食习惯以增强体质，段祺瑞却坚持自己的生活方式，拒绝开荤，并说道：“人可死，荤绝不能开! ”。
尽管段祺瑞在表面上看起来过着悠闲的生活，实际上他的心思并未完全脱离政治。他始终保持着与旧部和学生的联系，关注着国内的政治动态，内心充满了复杂的情绪和对未来的期望。
一九二四年第二次直奉战争的爆发为他提供了重新回到政治舞台的机会。冯玉祥和张作霖的联手请求使他得以再次出任领导职位，担任中华民国临时执政。
段祺瑞很快意识到，尽管他再次掌握了一定的权力，但这一次的权力结构与过往大相径庭。他发现自己受到了冯玉祥和张作霖的严重限制，他的政治自由受到了极大的束缚。
更为痛苦的是，他最信任的徐树铮在北京附近遭到暗杀，而段祺瑞只能对此事保持沉默，不敢表达任何愤慨。随着局势的进一步恶化，段祺瑞的政治地位变得岌岌可危。
一九二六年四月，冯玉祥的部队包围了他的私宅，张学良的态度也表明段祺瑞的时代已经结束。
最终，段祺瑞选择撤退到东交民巷的使馆区，在那里他暂时躲避了风头，直至能安全地返回天津。
1933年初，面对日本的迅速侵占和扩张势力，段祺瑞的政治地位与影响力再次被置于中国的政治棋盘上。日本的侵略行动不断升级，从占领东北到进攻热河，企图将其侵略范围扩展到华北。
此时，日本在京津地区密切寻找能够协助建立华北傀儡政权的合适人选，段祺瑞因其过去的声望及亲日倾向成为了被积极争取的对象之一。
与此同时，国内政局的动荡也让段祺瑞成为了不同政治力量的焦点。陈炯明在看到蒋介石面临内外交困的形势时，认为时机已到，派遣丘建军北上与段祺瑞接触，试图联合起来倒蒋。
然而，段祺瑞已感到自己年事已高，表达了无力再参与复杂政治的态度，推荐陈炯明亲自来主持大局。
此外，蒋介石也得知了段祺瑞可能被日本拉拢以及国内反蒋力量的联合企图，为了防止段祺瑞的势力被用作对付自己的工具，蒋介石采取了多项措施。
首先，他派出钱新之为特使，带着亲笔信邀请段祺瑞南下南京共商国事，并承诺将来有机会改组政府时让段祺瑞担任总统。此外，还 有来自社会各界的呼声，促请段祺瑞明确立场，不要落入日本的策略陷阱。
在这种情况下，段祺瑞选择南下南京，一方面可能是为了避免在北方的潜在危险，另一方面也是为了敷衍蒋介石，探访自己在上海的女儿，借此机会暂避风头。
1933年1月21日，段祺瑞乘坐特快列车离开天津南下。他的到达在南京引起了一定的轰动，当地陆军学校的校友会和安徽同乡会等组织到站前迎接，表现出对他的尊敬和期待。
段祺瑞在南京的停留短暂，他婉拒了蒋介石的留住请求，并在蒋介石的陪同下低调离开南京前往上海。在上海，段祺瑞选择了一种更为隐退的生活方式，参与佛教活动，与佛教居士深入交流，而关于出任总统的事宜，似乎已经被放置一旁，未再被提起。
1936年夏，段祺瑞因贪吃西瓜，腹泻不止，身体每况愈下。1936年末，段祺瑞又因胃溃疡病复发导致严重出血，经过医生的努力抢救无效后，于11月2日逝世，享年71岁。
在临终前，段祺瑞留下了一份表达对国家未来深切关怀的遗嘱。他对中国当时的局势表达了深深的悲观，同时对国家未来的复兴抱有希望。他的遗嘱中提出的“八勿”，实质上是他对国家治理和社会发展的忠告，强调实际行动与保守文化传统的重要性。
国民政府对段祺瑞的去世表现出了高度的尊重，于11月5日宣布将为他举行国葬，以表彰他在民国初年的贡献。蒋介石个人拨款二十万元，预定在黄山购置坟地，以符合传统“叶落归根”的风俗。
然而，段祺瑞的长子段宏业却有不同的看法，他坚持要将父亲的遗体运回北京安葬。遗体最初被暂放在香山卧佛寺，段宏业在此期间寻找适合的风水宝地，但由于合适的墓地难以找到，加之1937年日军占领北平后的紧急情况，使得卧佛寺不得不应日军要求清空。
在这种情况下，段家被迫急忙将段祺瑞的灵柩转移，并匆忙在北平西郊靠大道边挖坑安葬，这种仓促的处理方式与其在民国历史中的地位极不相称。
直至二十六年后，段祺瑞的遗体才被妥善迁移到北京万安公墓，并由他的侄儿段宏纲及曾任北洋政府教育总长的章士钊处理相关事宜。
