胥谥号为厉王。广陵由此国除，置为郡县。
楚王及广陵王既灭，汉宣帝外部威胁已除，只余朝内霍氏宗族。
御史大夫魏相担心霍氏势力骄奢放纵，但又自忖无力与其抗衡，于是通过平恩侯许伯向宣帝上书。汉宣帝览疏，见其书略曰：
《春秋》讥世为卿相者，恶宋三代皆为大夫；鲁季孙专权，国家处于危乱。我朝自武帝以来，王室子弟得其俸禄，国政却由冢宰决定。今大将军霍光死，子又为大将军，兄子为尚书，掌握政要；兄弟及诸婿皆掌兵权，权势熏天。霍光夫人显及其家女眷皆在长信宫录有名籍，可自由出入，夜入禁门，骄横奢侈，放纵不羁，臣恐将来渐不能制。依臣等愚见，宜夺其权势，消其阴谋，以固大汉万世基业，也使功臣霍光声名得以保全。
宣帝看罢奏疏，幡然醒悟：准平恩侯所奏，任魏相为给事中，以弱霍氏兵权。罢黜霍氏三侯爵位，其余子弟都调出京城。
许伯：陛下圣明决断！
魏相：臣谢主隆恩！
镜头转换，时至地节四年，许皇后被毒杀真相开始慢慢泄露。宣帝因无证据，不好直接问罪，但下系列诏旨，削弱霍氏宗族。
传旨官：奉天子诏令，拔魏相为丞相，并封高平侯。命百官可密封奏章上报，不必通过尚书霍山；群臣百官觐见皇帝可以独往，亦不必由尚书奏报。
奉天子诏令，故大将军霍光长婿度辽将军、未央宫卫尉、平陵侯范明友，调任光禄勋；次婿中郎将、羽林监任胜，出任安定太守；收回三婿赵平骑都尉官印，罢其兵柄。
奉天子诏令，给事中、光禄大夫张朔，调任蜀郡太守；中郎将王汉调任武威太守，各令出朝。长乐宫卫尉邓广汉，调任少府；霍禹调任大司马，撤销右将军职务。故大将军霍光原所统领胡、越骑兵，羽林军及两宫卫队，都改为许、史两家子弟代为统领。
帝诏既下，朝野大哗。霍禹被撤销右将军实权，只被任命为大司马，由是称病不朝。
长史任宣闻说，入府前来探问病情。
霍禹怒道：我有何病？天子不靠我家扶持，焉能承嗣大统？今大将军墓土未干，就排斥霍家，任用许、史两家，且没收我官印！某便是死，亦不肯瞑目！