霍光死后，汉宣帝一步步清算其家族。他先剥夺霍家兵权，扶持外戚许氏子弟掌权；又通过