中的谗言和对您的阿谀顺情之话，必然要有大祸发生。希望化祸为福，把昌邑旧人都放逐京，为臣我要第一个被放逐回家。”刘贺不采纳他的话，终于被废黜。

大将军霍光改尊立汉武帝的曾孙，造就是汉宣帝。宣帝即位后，心中疑忌刘贺，元康二年派使者赐予山太守张敞的加玺御旨说：“诏令山太守：要谨慎防备盗贼，监察往来过。然而此令不可下传外！”张敞从此就向朝廷列条奏报刘贺活动起居的情况，着明刘贺被废之后的反应或表现。奏报说：“臣下张敞于地节三年五月到任治事，前昌邑王住在以前的王内，内有婢一百八十三人，大门闭，衹开小门，选派一名廉洁的官吏来领钱买东西，每天早晨采，之外的品不得随便。督察盗贼的一人专巡逻，监察往来之人。用前昌邑王家的钱雇用士卒，防护垣清静院，防备盗贼。我多次派丞吏去察看。四年九月的一天，为臣我王视察其生活状况，看见前昌邑王年约二十六七岁，人长得面容青黑，小睛，鼻尖而低，须眉稀少，材大，患痿痹偏之症，行走不便。上穿短衣，下穿大，惠文冠，佩玉环，上着笔，手中拿着木牍，前来拜见。臣下我与他坐在中厅谈话，察看他的妻婢。我想动他一下以便从中观察他的心情，就用人所厌恶的鸟来刺激他。我说：‘昌邑枭乌多。’前昌邑王应声说：　‘对。从前我西长安，一只也没见过。回来的时候，往东走到济，才又听到枭的叫声。，我察看到他的女持辔，他跪下说：　‘持辔的母亲是严长孙的女儿。’我原来就知执金吾严延年字长孙，有一个女儿名叫罗鲋，是前昌邑王的前妻。我观察前昌邑王的衣冠服饰言谈话语跪坐起行，显得痴呆发傻。他有妻妾十六人，共二十二个女，其中十一个儿，十一个女儿。现在臣下我冒死罪奏上前昌邑王的名册以及有关婢与财产状况的账簿。我前次书奏提到：　‘昌邑哀王的歌舞伎女张修等十人，没有生女，又不是王的姬妾，是良家女，没有官籍，哀王已去世，应当把她们放归本家。太傅豹等人擅自留下，让她们了哀王园中的人，这是不合乎法规的，奏请放她们回家。’前王知这件事之后则说：‘让这些人看守园，得病的不给治病，相互斗殴杀伤不法办制裁，就是让她们快死，太守为什么要放她们回家呢？’他真是天喜好亡，始终像这样没有仁义之心。后来丞相御史把我的上书呈给陛下，准奏可行。才把这些人全放归遣散。”汉宣帝从此知刘贺不足为虑。

转年天，就颁下诏书说：　“听说象有罪，舜还是封了他，骨之亲，分而不断。今封前昌邑王刘贺为海昏侯，邑四千。”侍中卫尉金安上上书说：“刘贺是上天弃置之人，陛下极为仁慈，又封他为列侯。刘贺既是愚钝凶顽废弃之人，就不应参加祭祀宗庙朝见天的礼仪。”准奏可行。于是刘贺被送到封地豫章。

过了几年，扬州刺史柯弹奏刘贺与前太守的卒史孙万世结往来，孙万世间刘贺：“先前被废黜时，为什么不决守住不，并斩掉大将军，却反而听任人家把玉玺夺了去呢？”刘贺说：“你说得对，我是错了。”孙万世又认为刘贺将被封为豫章王，不会长期为列侯。刘贺说：　“是快这样了，但不应该说来。”有关官员调查属实，奏请逮捕刘贺。皇帝下令说：　“削去邑三千。”此后刘贺薨逝。

豫章太守廖上奏说：“舜把象封在有鼻，象死之后就没再为他立后，认为暴戾昏之人不应该封国之始祖。海昏侯刘贺死后，上报官府的继承人是他的儿刘充国；刘充国死了，又上报其弟刘奉亲；刘奉亲也死了，这是老天断绝他的后嗣啊！陛下圣明仁慈，对刘贺恩惠甚厚，就是舜对于象也不过如此。应该遵照礼制结束刘贺的爵封，以遵行天帝之意。请求下有关官员商议。”商议结果都认为不应为塑堕立嗣，封国废除。

汉五壶即位后，又封型贺的儿刘伐为迤昼堡，传又传到孙，现在还是列侯。