在1980年的一次会议上，几位同志不约而同地提出了主动辞职，这其中就包括了吴德。提及吴德这个人物，在上世纪六七十年代的时候，他的名字可谓是家喻户晓，人们已熟悉他那严肃而又不失亲和的形象，因为他的身影时常出现在各种重要的场合。 但自从1980年以后，吴德就迅速消失在了外界的视线中，因为他的辞职请求顺利得到了批复。此后，吴德主动腾退了原来的住房，搬到了一个地处闹市之外的偏僻小院，他希望通过这种方式开始自己的退休生活。要是在往常的话，吴德的家里总是门庭若市，来访的宾客络绎不绝，但如今却变得冷清异常，但他却对此淡然处之，在这片独属于自己的小小院落里，他仿佛找到了久违的淡泊和宁静。 吴德的晚年生活犹如波澜不惊的湖水，显得格外平静和低调，他几乎不出远门，也没有什么特别的兴趣爱好，闲暇之余他会练练书法，读读古书，打打太极拳，兴致来了还会哼唱几句京戏。除此之外，他并不追求什么物质享受，从未向组织上提过什么要求，一日三餐以豆腐青菜之类的素食为主，和家人出行也从不使用公车。 据吴德的女儿回忆，有一天晚上他和父亲坐在沙发上看电视，突然她发现父亲的情绪变得有些激动，嘴里还喃喃自语，显得很是气愤的样子。原来，电视里正在播放贪官受审的画面，而吴德一向对这类人深恶痛绝。在他看来，这类人是不折不扣的蛀虫，败坏了社会风气和人民群众心目中的形象。 1995年，吴德在和病魔顽强斗争了数月的时间后，因病重不治永远地离开了人世，享年82岁。他的葬礼规格极为简朴，只有亲朋好友到场送别，因为他生前留下了遗愿，希望后事简化办理。吴德的一生虽然就这样落幕了，但他清白奉献的高洁品格，必然会青史留名，永远被后世所铭记。
