他，他在认错的同时又请求回家乡治病。世宗更为恼火，就命令他以少保、尚书、大学士的待遇退休。夏言听说皇上对自己恼火，就呈了十四篇有关边境防御的策论，希望因此得到谅解。世宗说“：夏言既然对国事有忠诚的谋划，为什么那样决地自我惜，辜负我对他的信赖呢？姑且不治他的罪吧。”当初，夏言撰写诗词，最能满足世宗的心意。夏言罢官后，只有翟銮在职，并不是世宗急着要用的人。夏言即将离开京城时前往西苑的斋磕谢恩，世宗听说，很怜惜他，特地赐他酒，让他回私人住宅治病，等待以后的任命。恰好郭勋因为谏官很厉害地弹劾他，他也称病在假。京山侯崔元新近得到皇上信，在西苑值勤，他忌恨郭勋。世宗闲谈中问崔元说“：夏言、郭勋是我的左右臂，他们相互忌妒是什么原因？”崔元不说。世宗问夏言什么时候回家乡去，崔元说：“等皇上生日过后他才敢请放行。”又问郭勋得了什么病，崔元说：“郭勋本没病，夏言一回家他就会来了。”世宗了个。谏官知世宗信夏言而厌恶郭勋，就一起揭发郭勋的罪证，郭勋的辩护词狂悖错，世宗发火了，剥夺了郭勋同事王廷相的官籍。给事中时，是夏言厚结的知己，这时揭发了郭勋十几件贪污、放纵、不守法度的事情。世宗因此把郭勋关了监狱，恢复了夏言少傅、太太师、礼尚书、武英殿大学士的官职，等病好内值勤。夏言虽然在病假中，内阁的事务多由他裁定。办理郭勋的案件，都是他的授意行的。二十一年(1542)，他一品官满了九年，世宗派宦官颁赐银币、宝钞、羊酒和廷品，全恢复了他的官级，用加盖玉玺的诏书奖励、赞他，在礼为他举办宴会，由尚书、侍郎、都御史作陪。这个时候，世宗虽然优待、礼遇夏言，不过对他的信已不如当初了。

慈庆、慈宁两夫人去世后，郭勋曾经请把其中一个改由太居住。夏言以为不合适，符合了世宗的意思。到这个时候世宗突然又问起太应当住哪里，夏言忘记了自己先前的话，因想到再造殿费事烦人，就了和郭勋一样意思的回答。世宗心里不兴，又怀疑谏官弹劾郭勋是于夏言的指使。等建造大享殿时，世宗命令宦官监视，夏言却不替皇上写敕令文稿呈。到西苑值勤的几个大臣，世宗都命令他们骑，又赐给他们束发用的香叶巾，让他们用绵鞋。夏言以为这不是礼制规定的大臣服装，不肯接受，并且只有他乘坐手挽的齐腰小轿。世宗积累了这几桩不满，想要罢他的官，因而严嵩得到了排挤他的机会。

严嵩与夏言是同乡，称夏言为前辈，对夏言很谨慎。夏言内阁时推荐严嵩接替他原来的官职，把他当作门客收笼，严嵩心里很是恨他。夏言失去世宗信任后，严嵩因为善于谄言媚语，得到皇帝心。夏言担心被罢官，唤严嵩过去商量，严嵩却已经偷偷到陶文忠家里计划怎么咬他坏话以便取而代之。夏言得知非常恼恨，便示意谏官一次次弹劾严嵩。世宗正在着他，哪里肯听，而他们俩从此就大为不和了。六月，严嵩得到宴请和召见时，磕下跪，诉说夏言怎么欺辱他，泪如雨下。世宗让他把夏言的罪状全说来，严嵩这下得以大揭其短。世宗大为恼火，写诏书给礼，一一数说夏言的罪过，并且说：“郭勋已关监狱，他还千方百计罗织罪名。谏官本是朝廷的耳目，却专听他夏言指使。我不早朝，他夏言就不阁办事。军国大事，能在他家里裁决；天说的机密话，他也敢把儿戏玩。谏官对此不发一言，就这样欺骗我皇帝老，使得鬼神怨怒，下大雨伤害了庄稼。”夏言很害怕，赶上书认错。过了十多天，献帝周年时，他还被召去拜见，到西苑侍候皇帝。夏言借机谢皇上恩典，并请求准他老病还乡，话说得很哀伤。奏章在皇帝那里放了八天，正好七月初一日，过后，世宗亲写诏令下来说“：老天日超过常分，正犯着下级欺慢上级的过错，现在我命令剥夺夏言的官职，让他回家闲住。”世宗又承认自己的三过失，布告天下。御史乔佑、给事中沈良才等都上书评论夏言的事，并各自请问己罪。世宗大为恼火，贬斥了十三个人，其中时因曾弹劾郭勋，单单被重贬到遥远的边地。于是严嵩取代夏言步内阁。

夏言多年执政官，家境殷富，服饰、日用豪华、奢侈，也常和别人通讯问好并馈赠钱。罢官时间长了，不见召用，监司府县的官吏也稍稍待他冷淡了，夏言心里闷闷不乐。每遇元旦、皇帝生日他必定上表称贺，自称为“草土臣”世宗也渐渐怜悯他，就恢复了他尚书、大学士的官衔。到二十四年(1545)，世宗微微觉察到严嵩的贪婪和放纵，又想到了夏言，派官员送亲笔诏书召他回朝，恢复了他的少师等全官职，也加封严嵩为少师，像是与夏言并重的样。夏言来以后，一直气愤严嵩凌驾在自己上，凡有所批示，概不征求严嵩的意见，严嵩闭上嘴不敢说一句话。严嵩私自所提使用的人，夏言大加罢斥、放逐，严嵩也不敢帮忙，但对他恨骨髓。当时全国的士大夫正恨严嵩贪婪、嫉妒，认为夏言能压服严嵩，制其死命，莫不痛快。而夏言因为罢官时间长了，现在一心要扩大权势。文选郎简充军边远，唐龙、许成名、崔桐、王用宾、黄佐被罢官，王杲、王日韦、孙继鲁吃官司，都于夏言的指使。贵州巡抚王学益、山东巡抚何鳌被谏官弹劾，夏言上就草拟命令加以逮捕、审讯。唐龙过去与严嵩相好，王日韦的事又牵连着世蕃，还有其他被他贬斥的也不全恰当，因而朝廷中士大夫对他开始畏惧了。最后御史陈其学因盐法的事情弹劾崔元及锦衣都督陆炳，夏言草拟命令要他们自己写供词说明，两人都到夏言跟前认死罪，陆炳乃至跪下双膝请求才得到谅解。后来他俩与严嵩开始勾结准备陷害夏言，而夏言却没有发觉。世宗几次派遣小宦官到夏言的住，夏言气势凌人，把他们看作才。严嵩则肯定请他们坐下，并亲自把些金钱他们的袖中。因此这些宦官天天说严嵩的好，卖夏言的赖。夏言所献上的诗往往不合世宗的心意，严嵩得知了，越发认真地撰写呈的诗词。

不多久，收复河的议论为人提起。夏言原本是慷慨其辞，自以为有经世济用的才能的，想建立百代功勋。因为陕西总督曾铣请收复河，就赞成、决定了这事。严嵩与崔元、陆炳在中间捣鬼，最后夏言因此得败名裂。原来江都人苏纲，是夏言后妻的父亲，与曾铣关系很好。曾铣请求收复河时，苏纲极力对夏言称赞他。夏言以为倚靠曾铣此事能成，就秘密上书推荐他，说大臣中间没有比曾铣更忠诚的了。世宗让夏言拟定旨意，再三夸奖曾铣，曾铣心里兴，更加决地兵作战。世宗忽然又下诏书责备，语气很严厉。严嵩揣测到世宗的真心，就尽力说河不可能收复，言词中间连及夏言。夏言方才大惧而称罪认错，又说严嵩未曾有过不同意见，现在竟一切推在我上。世宗批评他为难君上，威众人。严嵩又上书折腾，攻击他。夏言也极力辩解。然而世宗已被严嵩的诬告蒙住，怒气难能消除。二十七年(1548)正月剥夺了夏言的全官衔，让他以尚书的名义退休，但仍没有杀害他的意思。碰巧有言蜚语传中，说夏言临走时埋怨、诬蔑皇上。严嵩又代仇鸾起草上书，攻击夏言收了曾铣的贿赂，手关市，谋取暴利，事情牵连到苏纲，于是把曾铣、苏纲关了京城的大牢里。严嵩和崔元、陆炳暗里商量，就用勾结皇帝边侍卫人员罪名将曾铣斩首，苏纲到边远地区充军，并派官兵逮捕夏言。夏言抵达通州，听说曾铣的罪名，大惊失，歪倒在车中，说“：唉！我恐怕非死不可了。”又上书诉说自己的冤屈，说：“仇鸾正要被捕，皇上下的圣旨不到两天，他怎么知皇上说的话，又怎么知严嵩的奏章而且这样附会它？大概是严嵩与崔元等伪造罪证，想迫害我就是了。严嵩这个人，言是行非，像共工；谦恭下人，像王莽；巧权父专政，像司懿。在京城的大臣受他的笼络，只知有严嵩不知有陛下；在地方上的大臣受他的钳制，也只知有严嵩不知有陛下。我的命在严嵩手中，我只有把我的命给皇上您，希望能设法加以保全！”世宗并不明白他的话。案件已定，刑尚书喻茂、左都御史屠侨等当他将被死时，援引大臣、能吏量刑时可以减免的条款上书请予减免死刑，世宗不愿听，严厉批评了喻茂等人，扣发了他们的薪俸，并且又提到了夏言以前不香叶巾帽的事情。那年十月终于将夏言斩首街。他的妻苏氏放广西，侄儿夏克承主事，侄孙夏朝庆尚宝丞，都被削职为民。夏言死的时候是六十七岁。