赵构是宋徽宗赵佶的第九子。宋徽宗以“多子”而著称。他一生共生了80个孩子，靖康之变（1127年）前已生32子、34女，被俘后9年（1127–1135）又生6子、8女，合计38子、42女。‌‌
可惜赵构的五个女儿在“靖康之难”中全部被金兵掳到了北方。唯一的儿子赵旉（元懿太子）也在“苗刘兵变”中受到惊吓而夭折了。年仅两岁多。
建炎三年（1129年）二月，金军突袭扬州，赵构此时正与后宫温存，骤闻金兵将至，极度惊吓，仓皇裸身出逃。史料《朝野遗记》载：“矍然惊惕，遂病痿腐”——从此永久性丧失生育能力。此后再无子嗣
赵构后来在临安建都后，他虽然后宫众多，也曾求医问药，祭祀求子，但终身未再生育 。
没有办法，他最终只能收养宋太祖七世孙赵昚为养子，传位太祖一脉 。