孙立人被软禁后，被强迫移到台中居住。没有了工资，仅靠拨发一点生活费用维持全家生计，日子过得很紧张。大儿子孙安平回忆：每到开学，父母亲总要为学费等事烦心，日常生活也尽可能节俭。自己不得不亲自上山种植果园。有时还拿到市面上去出卖一些以补贴家用。台中街上曾出现一种“将军玫瑰”，由于浓香四溢，很受年轻人喜欢，当得知这些玫瑰是孙立人养护培育时，人们亲切地送上了这个称号。 在如此艰难的日子里，孙立人在卧室旁种了一棵紫白两种花色的茉莉花，孩子们一开始不解，他告诉他们：“这是我们清华的校色。” 孙立人常常给孩子们讲当年在清华读书的故事，表示“读清华的那几年是年轻时最快乐的时日”。由此他又对孩子们产生了执拗，他要求自己的孩子：“即使你们将来考得再好，不能上其他学校，首选必须是清华（台湾清华）。” 孙安平高考时成绩考得就很好，虽然能上台大，也很想上台大，但还是听从了父亲的意愿，上了台湾的清华，后来的三个弟妹同样如此。 孙立人的四个子女均成长于他被禁期间。孙立人在他们幼小时就告诉他们：“假如将来你们能去美国留学，最后也能留在那儿工作，但绝对不能加入美国籍；还有一条，就是不能娶或嫁外国人。” 虽然后一点有点绝对，但透过这点却恰恰看到了孙立人的情怀。也正是在这后一点上，孙立人晚年与其疼爱的小女儿孙太平产生了冲突，当得知孙太平的男朋友是南美人时，孙立人非常生气，他以坚决的语气说：“我什么都能依你，就这点不行，我曾经告诫过你，这也是我的准则，你为什么还是不听？” 孙太平曾求告父亲：“爸爸，我什么都听你的，这么多年我也是一直这么做的，可感情是理性所不能勉强的，能不能在这件事上听听女儿的？”孙立人坚决地摇摇头，因此直到他去世后，小女儿孙太平才结婚。 孙立人的子女们从记事起，就看到父亲每天早晨总是会喝一杯由脱脂奶粉冲泡的热牛奶，喝完之后，总会往杯子里再倒半杯白开水涮涮，把带着牛奶味的开水也喝完。一开始他们没有真正理解父亲为什么要这样做，只简单理解为在艰难境况下父亲需要节省食物。 有一天，孙立人告诉他们，这是从抗战缅甸战场上开始养成的习惯。当时作战的粮食弹药补给，多数依靠空投，其中就有浓缩的罐头牛奶炼乳，必须先加开水冲淡才能饮用。基于爱惜物资的心理，即使是空的炼乳罐头丢弃前也总要再拿开水涮涮。 抗战胜利后，孙立人敦请国民政府表彰齐学启，追授齐学启为陆军中将，又是他通过国际组织的关系把齐学启的遗骨从缅甸取回，先寄厝在云南沾益，然后他亲自到长沙的岳麓山择地建坟，扶柩执绋，让齐学启魂归故里。 1988年，孙立人恢复自由后，首先想到的就是在大陆的齐学启后人情况，以及他的墓地。1989年初，孙立人在台湾筹集6000美金（当时的孙立人生活拮据，这对他而言不是一笔小钱），委托有关人员重建齐学启墓。孙立人为齐学启新墓还撰写了悼联。上联为“九载同窗，同笔砚，同起居，情逾手足。彪勋震蛮域，威名扬环宇，君酬壮志，功垂青史，湘水湘云存浩气”，下联为“十年共事，共生死，共患难，待若股肱。杀身惊天地，成功泣鬼神，我迎忠骨，泪洒红叶，秋风秋雨悼忠魂”。 孙立人常流露出对故乡的思念之心，两岸恢复交流后，他的处境也开始变好，他的思念之情就更加挚切，他曾在回忆录中说：“我是安徽人，从安徽一个乡下金牛山出来。” 虽然由于年龄和身体原因不能成行，但只要有亲友回大陆，孙立人总要托付他们表达心愿。1988年4月11日，孙立人旧部刘文美回乡探亲，给孙立人带回了一张故居照片，孙立人看后，于同年11月8日给刘文美回信：“故居所摄照片，曾一再展玩，虽旧梦重温，然亦感慨系之矣。” 孙立人家乡的故居是1863年由其祖父始建。1919年孙立人回来和龚夕涛（原配妻子）完婚，1932年冬，父亲和后母同时双亡后，时任国民政府财政部税警团任团长的孙立人回来奔丧，第二年将父母棺葬入土，自此他再也没有回来。 1989年清明节后，孙立人旧部潘德辉回大陆探亲，孙立人函托他到庐江，代为祭祖。潘德辉回来后，有关部门带他前去月形山孙立人父母墓地代为祭拜。 得知父母墓地仍在后，1990年3月29日，孙立人专门派孙安平回来祭奠。当地有关部门的热情接待与安排，孙安平回去汇报后，孙立人非常高兴和感激，于5月中旬来信表示感激，同时表达了将父母墓地迁往故居地金牛山的心愿，有关部门很快帮孙立人了却了这桩心愿。 遗憾的是，当时的孙立人身体已经非常差了，最终未能亲自回来祭拜，在这年的冬天病逝。
