臣杨敞等谨与博士孔霸、臣隽舍、臣德、臣虞舍、臣、臣后仓商议，都说：“皇帝因为创建汉朝基业，所以称汉太祖，孝文皇帝因为仁慈节俭被称为太宗，如今陛下继承孝昭皇帝之后，行为放纵不合法度。《诗经》上说：　‘若说无知，也已抱。，五刑的条文规定，罪孽没有比不孝更大的。周襄王不能侍奉好母亲，《秋》就说‘天王居到郑国，，因为他不孝而被赶京城，使他与天下人隔绝。宗庙比君王更重要，陛下没有到庙接受大命，就不可以继承上天的意旨，奉祀祖宗宗庙，统治天下万民，应当废黜。”臣请求有关官员御史大夫蔡谊、宗正刘德、太常苏昌和太祝准备一副太牢供品，告祭庙。臣杨敞等人冒死罪来奏报。

皇太后下诏说：“准奏。”霍光就叫昌邑王起来跪拜接受诏令，昌邑王说：“听说天于衹要有静臣七个人，即使无也不会失去天下。”霍光说：“皇太后已下韶令废黜，哪裹还是天！”于是上前抓住他的手，解下他上的玺印绶带，捧上给太后，扶着昌邑王下了殿，走金门，群臣跟着送行。昌邑王向西面拜：　“我愚昧不明事理，不堪担当汉朝的重任。”起坐上皇帝侍从的车辆。大将军霍光把昌邑王送到昌邑邸后，霍光告罪：　“您的行为白绝于上天，臣下等怯懦无能，不能自杀来报答您的恩德。臣下宁可有负大王，不敢对不起国家。但愿大王能够自，臣下将再也不能见到您了。”霍光哭着离开了昌邑王。群臣又上奏说：　“古代被罢黜放逐之人都放到很远的地方，不使他扰国家政令，我们请求把昌邑王刘贺迁到汉中房陵县。”太后下诏命刘贺回到昌邑，并赐给他收取赋税的私邑二千。昌邑国的群臣由于没有尽辅佐教导君臣之谊，使王误歧途而获罪。霍光就将他们全杀了，共有二百多人。当这些人被拉去死的时候，都在街中哭泣呼喊：“当断不断，反受其。”

霍光坐在朝廷中，会同丞相以下大臣商议决定所立的人选。广陵王早在这之前就没有被选用，等到燕剌王谋反被诛，他的儿也就不在议论中了。近亲中现衹有卫太的孙号称皇曾的还在民间，受到普遍称赞。霍光便又同丞相杨敞等大臣一同上奏说：“《礼》书中说‘为人之能够亲亲人就能尊崇祖先，能够尊崇祖先就能够敬重宗庙’。如今大宗没有继承人，就应选择旁支孙中贤能的人作为继承人。孝武皇帝的曾孙病已，武帝时有韶令在掖中抚养照看，到现在年已十八，从师学习《诗》、《论语》、《孝经》，力行节俭，仁慈人，可以继承孝昭皇帝的皇位，事奉祖先宗庙，统治万民。臣下冒死以告。”皇太后下诏说：　“准奏。”霍光就派遣宗正刘德到曾孙家尚冠里，帮他洗梳沐浴，赐给他皇帝的衣服，叫太仆用轻便小车把曾孙接到宗正府行斋戒，未央谒见皇太后，被封为武侯。不久霍光就捧上皇帝的印玺，然后到庙去拜谒，造就是孝宣皇帝。第二年，皇帝下诏说：“褒奖有德的人，赏赐有大功的人，是古今的常理。大司大将军霍光守卫廷忠诚正直，宣扬德彰明恩泽，保守节秉行仁义，用来安定宗庙。将河北、东武的一万七千加封给霍光。”加上他以前的封地一共有两万。前后赏给他黄金七千斤，钱六千万，各彩帛三万匹，婢一百七十人，二千匹，上等住宅一。

白昭帝时起，霍光的儿霍禹以及霍光哥哥的孙霍云都已是中郎将，霍云的弟弟霍山任奉车都尉、侍中，掌握胡、越兵权。霍光的两个女婿分别是东西的卫尉，霍光兄弟的女婿及外孙都有资格参加朝会，担当诸曹大夫，骑都尉，给事中的官职。党派亲族连成一，盘错节地占据了朝廷。霍光从后元以来一直总理朝政，等到皇上登基以后，才归还朝政。皇上谦让不肯接受，各政事都要先请示霍光后，再上奏给天。霍光每次上朝参见，皇上都谦恭严肃，对他十分恭敬礼让。

霍光执政前后达二十年，地节二年他病得很厉害，皇上亲自去他家探望病情，为之泪哭泣。霍光上书谢恩说：“我愿把我封国邑的三千产用来分封我哥哥的孙奉车都尉霍山为列侯，以供奉我哥哥骠骑将军霍去病的祭祀。”皇上把此事给丞相御史办理，当天就授任霍光的儿霍禹为右将军。霍光去世后，皇上及皇太后都亲自到霍光的灵堂去吊唁。太中大夫任宣和五个侍御史一同拿着符节办丧事。中二千石的大臣在墓地上设置幕府办事。皇上还赐给金钱、帛绢丝绵，绣棉被一百条，衣服五十箱，金镂玉衣，内棺、外椁、黄题凑各一副，随葬的外藏枞木椁十五副。柬园制作的温明秘，全都如同皇帝的规格。用辊鲸车载着霍光的遗，车上用黄缎覆盖，辕左上羽饰大旗，派材官、轻车、北军五校士兵列队一直到达茂陵，来为霍光送葬。给他赐谧号为宣成侯。征发河东、河南、河内三郡的士兵挖掘墓，盖起陵墓祠堂，设置看护的园邑三百家，长史、丞掾照旧法侍奉守护陵园。

霍光被安葬以后，宣帝就封霍山为乐平侯，以奉车都尉的份兼尚书的事务。天追思霍光的功德，下韶令说：“已故大司大将军博陆侯在禁中侍奉孝武皇帝三十余年，辅佐孝昭皇帝又有十多年，中间遭遇到重大的灾难，执仗正义，率领三公九卿大夫决定万年大计以安定国家，天下的黎民百姓才获得安康太平。他的功德无量，朕极为嘉许。决定免去他后代的徭役。孙继承他的封爵邑，世世代代不准改变，他的功劳与萧相国同等。”第二年夏天，宣帝封太的外祖父许广汉为平恩侯。又下诏令：“宣盛堡霍光在禁中侍奉天忠诚正直，为国家辛勤劳。褒奖善良的人应推及后代，此封霍光哥哥的孙中郎将霍云为冠侯。”

霍禹继爵为博陆侯后，太夫人显改变了霍光生前自己设计的墓地规制而加以扩大。建起三个的门阙，修筑神，北面靠近昭灵，南面越丞墨。大肆装修祠堂，辇车的专用直通到墓中的永巷，又幽禁平民、婢、侍妾来守护。还大建住宅，制造乘坐的辇车，增加饰有图案的绣坐垫、把手，并涂饰黄金，又用裹着丝絮包住车，侍从婢女用五彩的丝带拉着显所乘坐的车，在住宅中游戏取乐。当初，霍光家总冯都，常同他商量事情，等到显守寡独居时，她便和冯都通。而霍禹、霍山也同时修缮住宅，常在平乐馆跑追逐。霍云每当朝会的时候，多次称病私下外，带着很多宾客，在黄山苑囿中张围打猎，却委派仆代为上朝谒见，没有人敢谴责。而且显和她的几个女儿，不分白天黑夜地长信的殿中，没有限度。