李世民一度有意废掉太子李治，改立吴王李恪为太子，他与长孙无忌商议时说道：“无忌，我开始后悔立晋王为太子了，晋王懦弱，恐怕无法守住大唐。我看吴王英武果敢，有我的风范，应该担此大任，你觉得如何？”李世民在废太子李承乾后，曾考虑过立魏王李泰，但李泰因说了“杀子传弟”的话失去了机会，最终改立最小的嫡子李治。 然而，长孙无忌作为李治的亲舅舅，支持李治为太子，显然不愿看到自己的外甥被废。他劝说道：“陛下，吴王李恪的母亲杨妃是前朝的公主，而杨妃出身隋朝，这样的背景岂不是让大唐的天下回归给杨氏吗？”他提醒李世民，吴王李恪是杨广的外孙，立李恪为太子，可能引起隐患。 李世民则反问道：“你不赞成我立吴王，仅仅是这个原因吗？我看晋王是你的外甥，而吴王不是你的外甥，你才不赞成吧？”长孙无忌有三个外甥，分别是废太子李承乾、魏王李泰和晋王李治，还有四个外甥女，因此，他也知道李治与李恪的立储问题关系到李世民的选择。面对李世民的质疑，长孙无忌只能回答：“如今是治天下，而不是打天下。太子（李治）仁厚适合当太子，日后必能守住大唐。太子之位至关重要，您怎么能轻易改动？立储需要谨慎，若您废嫡立庶，后果会非常严重。” 李世民认真考虑了长孙无忌的建议后说：“你说的对，若我随心所欲废嫡立庶，恐怕会重新引发宫廷的权力争斗。罢了，罢了，我们不再谈这个问题了，你去好好教导太子，‘修身齐家治国平天下’之道吧。”李世民最终放弃了立吴王为太子的打算。 从长孙无忌的反对来看，不仅是因为李恪的母亲是杨广的女儿，更深层的原因涉及到大唐的政治格局和继承制度。长孙无忌背后的关陇集团，一直在维护与李世民的关系，而若李恪被立为太子，势必影响关陇集团的利益。李恪母亲杨妃的背景复杂，若立李恪为太子，杨妃可能被立为皇后，导致李治失去太子身份，这对关陇集团的成员，特别是长孙无忌来说，显然是难以接受的。 此外，按照传统的嫡庶之分，继承王位理应选择嫡长子，而李治是李世民的嫡长子。李世民若废除嫡子而立庶子，不仅违反了古代继承制度，也可能引发更大的宫廷纷争。因此，长孙无忌坚决反对李世民改变太子安排。 总的来说，长孙无忌的反对，不仅是基于对李治的支持，也涉及到更深层的政治考量。通过这番劝阻，李世民最终放弃了立吴王李恪为太子的想法，保持了继承制度的稳定。
