曹太后垂帘听政之日，曾对韩琦、曾公亮等辅臣追忆嘉祐旧事：当年先帝决意立皇子，宫内宦官姬妾多方煽惑希望不要立赵宗实，朝外知名近臣亦有异论，险些动摇大计。她不愿穷究兴起风波，相关奏章已经尽数焚毁。

太后不曾说出异议者姓名，流言辗转传播，众人纷纷猜疑此人便是蔡襄。

时至今日，没有任何留存文书能够印证传闻真伪。世人揣测流言落在蔡襄身上，大抵因其性情坦荡，言谈不拘谨，时常出言诙谐，容易被旁人截取片言，罗织嫌疑。

早在藩邸之时，英宗就听闻过这番说法，登基之后，心中芥蒂难消，每每提及蔡襄，便神色郁郁。韩琦、欧阳修等人屡屡进谏，认为单凭无根传言猜忌大臣，后患无穷。英宗却始终不能释然。蔡襄洞悉君主心中疑虑，自知难以自明，主动请求调离京师，出守杭州，以此避嫌远祸。