氏的仆就跑到御史大夫府中，要踢坏他府中的大门，御史为此叩请罪，他们才离开。有人把这件事告诉了霍家，显等人才开始知将有忧患。等到魏大夫担任丞相，经常在闲暇时被召见谈论政事。平恩侯和侍中金安上都能直接禁中。适时霍山仍旧兼领尚书的事务，但皇上叫官吏百姓可以密封奏章上报，不必通过尚书，群臣百官见皇上可以独自往来，霍氏对此非常不满。

宣帝刚登基时，就册封卑贱而未显达时所娶的许妃为皇后。显很喜她的小女儿成君，想使她得到富贵，就暗自派产科医生淳于衍下毒药杀死许后，乘机劝霍光要宣帝娶成君，取代许后成为皇后。这些事《外戒传》中有记载。当时许后突然死亡之时，官吏逮捕了中所有医生，并弹劾淳于衍在治病过程中行迹可疑，不合常理，就把他关了监狱。狱吏对他审问得很急迫，显害怕事情败，就把实情告诉了霍光。霍光大吃一惊，想亲自去告发这件事又不忍心，正在犹豫。适逢此案的奏章上报，霍光就乘机批覆对淳于衍不必再追究。霍光薨后，真相开始慢慢去。对这件事皇上衹是刚听说到但不明虚实，就调动霍光的女婿度辽将军未央的卫尉平陵侯范明友任光禄勋，第二个女婿诸吏中郎将羽林监任胜任安定太守。几个月后，又调霍光的女婿给事中光禄大夫张朔任蜀郡太守，孙女婿中郎将王汉为武威太守。遇了不久，又调霍光的大女婿长乐卫尉邓广漠任少府。再调霍禹任大司，衹小帽，没有印章，撤销了他的右将军及所统辖的驻军官兵，衹是让霍禹的官名与霍光一样，都是大司。又收回范明友度辽将军的官印，衹让他任光禄勋。还有霍光的三女婿赵平为散骑骑都尉光禄大夫统领驻军，又把趟平的骑都尉官印收回。所有统领的胡人、越人骑兵、羽林军以及两卫队所统领的士兵，都改为由宣帝所亲信的许、史两家弟代为统领。

霍禹被任命为大司后，就称说有病。霍禹原先的长史任宣来探望问候，霍禹说：“我哪裹有什么病？天不是靠我家将军怎么能到现在的地步，如今将军的坟墓还没有，他就一律疏远排斥我们家族，反而任用许、史两家的人员，还没收了我的官印，真让人死都不明白。”任宣见霍禹怨恨很，就对他说：“大将军的时代怎么还能再有！把持国家的权柄，生杀予夺在手中。廷尉李、王平、左冯翊贾胜胡以及车丞相的女婿少府徐仁都因冒犯大将军的意旨而被下狱死。使乐成这样的小人家弟因为受到将军，官至九卿，爵为列侯。百官以下衹事奉冯都、王方等人，本不把丞相放在里。这是各自有自己的时代，如今许、史两家是天的骨姻亲，得到尊贵正是理所当然。大司如果因此而心怀怨恨，我认为不应该。”霍禹听后沉默不语。过了几天，霍禹又上朝理事务。

显和霍禹、霍山、霍云看着自己的权势一天天被削夺，几次相对泪啼哭，自相埋怨。霍山说：“现在丞相执政，受到皇帝信赖，全改变大将军当时制定的法令，将公田授给贫民，以宣扬大将军的过失。又有诸位儒生，大多是穷人弟，远而来客居京城，衣不保，却喜狂言，不避忌讳，大将军曾对这些人忌恨如仇，如今陛下却喜同众儒生谈，又让他们自行上书答对政事，这些人就尽说我们家的事。曾经有人上书说大将军在时，主弱臣，揽权独裁，如今他的孙当权，兄弟们更加骄横恣肆，恐怕将要危及宗庙社稷，灾异怪事频繁现，都是因为这个缘故。他的话说得极其痛切，我就压下没有把此书上奏。后来上书的人更加狡猾，全都使用密封奏事，皇上就叫中书令来取走，不通过尚书，皇上越来越不信任我了。”显问：“丞相屡次说我家的事，难就没有罪过吗？”霍山答：　“丞相廉洁正直，哪裹能有罪？我家的弟兄们和各位女婿大多行为不慎。又听民间盛传说霍家用毒杀死了许皇后，真有此事吗？”显很害怕，就全将实情告诉了霍山、霍云、霍禹。霍山、霍云、霍禹惊慌地说：“像这等事情，为什么不早对我们说呢？天离散斥逐我们家的几个女婿，是因为这个缘故啊。这是一件大事，罚可不会轻，怎么办？”从此他们就开始有了邪谋。

当初，赵平的门客石夏知晓天文，他对赵平说：“荧惑守着御星，御星是太仆奉车都尉的星宿，他们不是被贬官就是被杀死。”趟平内心替霍山等人担忧。霍云的舅舅李竟的好友张赦见霍云家族岌岌可危，就对李竟说：“如今丞相与平恩侯当权，可以叫太夫人告诉太后，先把这两个人杀了。罢黜陛下，就在于皇太后。”长安男张章告发了这件事，宣帝就把此事给廷尉理。执金吾拘捕了张赦、石夏等人，后来又有韶令制止，不准拘捕。霍山等人更加恐慌，相对说：“这是天看重太后的面，所以没有究。但是凶兆已显现，又有毒杀许后的事，陛下即使宽大仁厚，就怕他左右的人不听，时间久了仍然会追查，一旦查清就要被灭族，我们不如先动手。”于是就叫几个女儿各自回去告诉自己的丈夫，都说：“哪裹还有地方避难呢？”

适逢李竟因与诸侯工勾结而致罪，供辞中涉及霍氏，宣帝就下韶说霍云、霍山不宜在中供职，免官回家。霍光的几个女儿对待太后无礼，冯都数次犯法，皇上就一同加以责问，霍山、霆噩等人到很害怕。题在梦中见到住宅中的井溢到厅堂下，厨房裹的炉灶挂在了大树上，又梦见大将军对显说：“你知我们的儿要被捕了吗？他们很快就会来捕人的。”住宅中的老鼠一下多了起来，与人相互碰撞，用尾在地上画。猫鹰几次在殿前的树上叫唤。住宅的门无缘无故毁坏，霍云尚冠里住宅中的门也无缘无故地坏了。街巷的人都看到有人坐在霍云的屋上，揭下瓦片扔到地上，到跟前去看，却又没有见到人，到非常奇怪。霍禹梦中听到车喧喧嚷嚷地来捕捉他，全家对这些怪事到忧愁。霍山说：“丞相擅自减少宗庙供品的羔羊、兔、青蛙，可以用这来定他的罪。”他们设谋叫太后为博平君设置酒席，把丞相、平恩侯以下的官员召来，让范明友、邓广汉奉太后的制令将这些人拉去斩首，乘机罢除天而立霍禹为帝。相约定的计划还没有实施，霍云就被任命为玄菟太守，太中大夫任宣被任命为代郡太守。霍山又因为抄写禁秘书犯法，显为此上书表示愿献城西的宅第及一千匹用以赎霍山的罪。宣帝在奏书上衹批覆知了。刚好他们密谋的事被发觉，霍云、霍山、范明友自杀，显、霍禹、邓广汉等人被捕捉到。霍禹被腰斩，显及她的几个女儿兄弟都被死。惟独霍后被废黜幽禁在昭台宣。与星医相牵连而被定罪诛杀灭族的有好几千家。