1646年，图赖怒斥摄政王多尔衮，说他偏袒正白旗、镶白旗，并为索尼打抱不平。多尔衮很生气，说图赖不给自己面子，便打道回府，对图赖无可奈何。图赖死后，多尔衮找个理由将其夺爵。

真正把图赖和多尔衮的矛盾摆到台前的，是顺治三年正月午门前那场争执。索尼因为一封实际没有收到的信被卷进案子，事情查清后，谭泰的责任却迟迟没有定下来。图赖当面追问摄政王，语气很重，多尔衮一怒回府。诸王准备治图赖的罪，多尔衮随后又回来让人给他松绑。

表面看，这是一个武将脾气太硬，背后牵动的却是1643年皇太极去世后一直没有完全消失的权力裂缝。故宫博物院院刊研究提到，当时两黄旗大臣坚持拥立皇太极之子，八月十三日晚，图赖还曾找到索尼传达“定立皇子”的意见。豪格后来退让，福临继位，多尔衮摄政，这笔政治旧账并没有随之消失。
图赖敢当面发作，也有自己的本钱。他是费英东之子，长期在正黄旗任职，靠的并非一句资历老。入关后，他参加追击李自成和江南战事；1646年又作为博洛的副将进入浙江、福建，同年晋一等公，最后病逝于金华。故宫博物院《图赖》词条也明确记载了他的正黄旗身份、南征经历和1646年卒年。
这就解释了一个看似奇怪的现象：多尔衮已经位高权重，为什么图赖当众顶撞之后还能脱身？因为图赖身后连着两黄旗，又有家族资历和实打实的军功。处罚一个图赖很容易，随之激起旗内更大的猜疑和对立，代价就未必划算。清初摄政时期的权力运行，始终离不开这种旗权之间的牵制。
我认为，多尔衮当时真正顾忌的正是这种力量对比：摄政王能够压住个人，却不能随意把支持皇帝的两黄旗骨干一起推向对立面，所以面对图赖的激烈质问，他可以发火，可以甩袖离开，却还得回来收场，这恰恰说明图赖当时的政治分量。

等到图赖去世，情况便发生变化。顺治五年，也就是1648年，豪格和济尔哈朗先后遭到打击，皇太极死后那场继位之争再次被翻出来。图赖生前参与拥立豪格的问题也被追究，最终落实到他的家族身上，其子辉塞承袭的爵位被夺。故宫博物院相关研究显示，这一时期两黄旗旧臣受到持续压制，豪格也在当年被幽禁并死于禁所。
权力格局随后又翻了一次。1650年十二月，多尔衮去世；1651年顺治正式亲政，摄政时期留下的一批案件被重新处理。按照《清史稿·图赖传》的记载，朝廷念及图赖旧功，命其配享太庙，谥昭勋，辉塞也恢复袭爵。多尔衮生前压下去的这支力量，由此重新获得政治评价。

图赖这段经历真正值得看懂的地方，也就在这里。1646年午门前的一场争吵，看起来只是两个人互不给面子，实际上照出了清初八旗内部复杂的权力平衡。一个人敢不敢说重话固然取决于胆量，更取决于他背后站着什么力量；而多尔衮当时没有立即动图赖，同样不是心软，而是在算清这笔政治账。