给出了伊尹任殷朝的丞相的事迹，放逐太甲而保全了王室，后世称道他忠。霍光能做到这点，也就是汉朝的伊尹的看法。后霍光同田延年一起说服了众大臣改立新君，因此也被合称“伊霍”。废黜昌邑王以后，“光权益重”，霍光大权独揽而且能行废立皇帝的事业，这不能不对新帝刘询产生影响。
拥立宣帝
汉宣帝自在民间闻知霍氏尊盛日久，汉宣帝即位之初，便处处受制于大将军、大司马霍光。宣帝要求各种事务都要先向霍光请示，然后再正式告诉自己。霍光每次朝见，宣帝都自作谦卑，对待霍光的礼节极为隆重。皇帝将统治权分配给了霍光，如果不是去祭祀，皇帝甚至都没有单独发挥作用的余地。从昭帝时，光子禹和侄孙霍云都为中郎将，亲族连成一体，昌邑王被废黜后，霍光的权势更盛，每次霍光朝见，皇上都虚心严肃，礼下之极，还下诏褒美霍光，益封霍光大量金银财器，但宣帝对霍光极为疏远。
宣帝登基之时，众臣皆进言立霍光之女霍成君为皇后，宣帝仍然力排众议，立原配妻子为皇后，这令霍光及其家人大为不满。本始三年（前71年），太夫人显想要让自己的女儿成为皇后，她便买通了许氏身边的郎中淳于衍借皇后怀孕生子的机会毒死皇后。被毒死之后东窗事发，淳于衍被告下狱而遭严苛审讯，显夫人知道后将事情的经过告诉给了霍光，霍光大惊便想自己举发此事，可又于心不忍，便犹豫不决。最后霍光压下了这件事，朝廷宣帝见霍光如此处置，就不敢再深究，只好放了淳于衍，而霍成君果然也成为皇后。随着霍成君入宫为皇后，霍家对霍成君的控制变得更加严厉起来，借天象频频警告宣帝，令其自行处理宫廷故旧，并臣服霍氏威严。迟暮之年
临终之际地节二年（前68年），霍光病重，宣帝亲自到霍光家探望病情并流泪哭泣。霍光上书谢恩并且希望把自己的封国食邑三千户分封给他哥哥的孙子霍山，并封他为列侯，以供奉他哥哥霍去病的祭祀。同年，霍光因病于长安（今西安）去世，皇上和皇太后亲自去霍光的灵堂吊唁。霍光被安葬之后，宣帝便封霍山为乐平侯。
诛灭全家
霍光去世后，许氏去世的真相开始慢慢显露，汉宣帝马上就开始削弱霍家的权威，有意培养许、史两家，调度霍家