沿途驿站陪宿。初到长安，谒见皇太后之后，被立为皇太，仍经常私下派人购买、猪用。在孝昭皇帝灵柩之前接受皇帝的印玺，回到住，打开印玺后就不再封存。派侍从官更手持皇帝符节前去召引昌邑国的侍从官、车官、官仆等二百余人，与他们一起居住在禁之内，肆意游戏娱乐。曾经写信说：‘皇帝问候侍中君卿，特派中御府令昌携带黄金千斤，赐君卿娶十个妻。’孝昭皇帝的灵柩还停在前殿，竟搬来乐府乐，让昌邑国善于歌舞的艺人击鼓，歌唱弹，演戏取乐；又调来泰一祭坛和宗庙的歌舞艺人，遍奏各乐曲。驾着天车驾，在北、桂等往来奔驰，并玩猪、斗虎。擅自调用皇太后乘坐的小车，命官仆骑乘，在后中游戏。与孝昭皇帝的叫蒙的女等yín，还下诏给掖令：‘有敢漏此事者腰斩！’…”太后说：“停下！作臣的，竟会如此悖逆荒吗！”刘贺离开席位，伏地请罪。尚书令继续读：“…取朝廷赐予诸侯王、列侯、二千石官员的绶带及黑、黄绶带，赏给昌邑国郎官，及被免除仆分的人佩带。将皇家仓库中的金钱、刀剑、玉、彩丝织品等赏给与其一起游戏的人。与侍从官、仆彻夜狂饮，酒醉沉迷。在温室殿设下隆重的九宾大礼，于夜晚单独接见其夫昌邑关内侯。尚未举行祭祀宗庙的大礼，就颁发正式诏书，派使者携带皇帝符节，以三、三羊、三猪的祭祀大礼前往祭祀其父昌邑哀王的陵庙，还自称‘嗣皇帝’。即位以来二十七天，向四面八方派使者，持皇帝符节，用诏令向各官署征求调发，共一千一百二十七次。荒昏，失去了帝王的礼义，败坏了大汉的制度。杨敞等多次规劝，但并无改正，反而日益加甚，恐怕这样下去将危害国家，使天下不安。我们与博士官商议，一致认为：‘当今陛下继承孝昭皇帝的帝位，行为邪不轨。《孝经》上说：“五刑之罪当中，以不孝之罪最大。”昔日周襄王不孝顺母亲，所以《秋》上说他：“天王居郑国，”因其不孝，所以居郑国，被迫抛弃天下。宗庙要比君王重要得多，陛下既然不能承受天命，侍奉宗庙，民如，就应当废黜！’因此，臣请求太后命有关门用一、一羊、一猪的祭祀大礼，祭告于祖皇帝的祭庙。”皇太后下诏说：“可以。”于是霍光命刘贺站起来，拜受皇太后诏书。刘贺说：“我听说：‘天只要有七位耿直敢言的大臣在边，既使无，也不会失去天下。’”霍光说：“皇太后已经下诏将你废黜，岂能自称天！”随即抓住刘贺的手，将他上佩的玉玺绶带解下，献给皇太后，然后扶着刘贺下殿，从金门走皇，群臣跟随后崐相送。刘贺后，面向西方叩拜：“我太愚蠢，不能担当汉家大事！”然后起，登上御驾的副车，由大将军霍光送到长安昌邑王官邸。霍光歉说：“大王的行为是自绝于上天，我宁愿对不起大王，不敢对不起社稷！希望大王自，我不能再常侍奉于大王的左右了。”说完洒泪而去。

文武群臣上奏太后说：“古时候，被废黜之人，要放逐到远方去，使其不能再参与政事。请将昌邑王刘贺迁徙到汉中房陵县。”太后下诏，命刘贺回昌邑居住，赐给他二千人家作为汤沐邑，他当昌邑王时的家财也全发还给他，其妹四人，各赐一千人家作为汤沐邑；撤销昌邑国，改为山郡。

原昌邑国群臣都被指控在封国时不能举奏刘贺的罪过，使朝廷不了解真实情况，又不能加以辅佐、引导，使刘贺陷于罪恶，一律逮捕下狱，诛杀二百余人；只有中尉王吉、郎中令龚遂因忠正耿直，多次规劝刘贺，被免除死罪，剃去发，罚以“城旦”之刑，白天守城，夜晚作苦工。刘贺的老师王式也被逮捕下狱，罪应死，审案官员责问王式：“你作为昌邑王的老师，为什么没有上述规劝？”王式回答说：“我每天早晚都为昌邑王讲授《诗经》三百零五篇，遇到涉及忠臣、孝的内容，未曾不为其反复诵读、讲解；遇到关于无之君使国家危亡的篇章，也未曾不泪为他详细陈说。我是用《诗经》三百零五篇来规劝昌邑王，所以没有专门上书规劝。”审案官员将王式这番话奏闻朝廷，所以王式也被免除死罪。

霍光因为国家大事都由群臣上奏于东，由太后省察决定，认为太后应通晓儒家经书，于是禀明太后，命夏侯胜为太后讲授《尚书》，并调夏侯胜担任长信少府，赐其关内侯爵位。

当初，卫太刘据纳姓史的鲁国女为良娣，生了一个儿名叫刘，号称史皇孙。史皇孙娶涿郡女王夫人，生一名叫刘病已，号称皇曾孙。皇曾孙生下几个月，就赶上巫蛊之祸，卫太刘据及其三一女连同他的诸妻妾全被害，只剩下皇曾孙一人，也因连坐被关大鸿胪所属的郡邸狱。原廷尉监鲁国人丙吉受汉武帝诏命，负责审理巫蛊案。丙吉知说刘据并无犯罪事实，对皇曾孙无辜受到连累为哀怜，便选择谨慎忠厚的女囚犯渭城人胡组、淮人郭征卿，命她们住在宽敞的地方哺养皇曾孙刘病已。丙吉每日前往探视两次。

巫蛊案连年不能结束。汉武帝患病，往来于长杨、五柞两。观望云气的方士说，长安监狱中有一天之气，于是汉武帝下诏命使臣分别通知京中各官府，凡各监狱在押的犯人，无论罪行轻重，一律死。内谒者令郭穰于夜晚来到郡邸狱传达汉武帝诏令，丙吉关闭大门，不让郭穰去，说：“皇曾孙在此。其他人尚且不应无辜被杀，何况是皇上的亲曾孙呢！”双方僵持到天崐明，郭穰未能去。郭穰返回，将此事奏明汉武帝，并弹劾丙吉。汉武帝也已醒悟，说：“是上天让丙吉这样的。”于是下诏大赦天下。在长安的监狱中，唯独郡邸狱的囚犯，靠丙吉得以保住了命。

不久，丙吉对狱官谁如说：“皇曾孙不应住在监狱之中。”派谁如写信给京兆尹，将皇曾孙与胡组一起送去，因京兆尹不肯接受，又回到狱中。等到胡组服刑期满，应当离去时，皇曾孙对她甚为依恋，于是丙吉自己钱雇胡组留下，让她与郭征卿一起抚养皇曾孙，又过了几个月，才放胡组离去。后少内啬夫禀告丙吉说：“没有得到皇上的诏令，不能供给皇曾孙饮。”当时丙吉的俸禄里有米和，便月供给皇曾孙。皇曾孙患病，好几次几乎命不保，丙吉总是督促养育皇曾孙的母请医喂药，对皇曾孙恩惠很。丙吉听说皇曾孙的祖母史良娣的母亲贞君和兄长史恭尚在，便用车将皇曾孙送给他们抚养。贞君年纪已老，见女儿的孙如此孤苦无依，极为哀怜，便亲自抚养。