世宗怒气未消，怀疑他把亲笔敕令毁坏了，命令礼部催讨，并剥夺他少师的勋位，让他以少保、尚书、大学士退休。夏言于是把四百多幅亲笔敕令并银章一枚缴上。过几天，世宗怒气消了，让人制止他还乡。又以少傅、太子太傅入内阁值勤，夏言上书感谢，世宗高兴，指示他砥砺初忠，秉公办事，正道做人，以消除众人的怨气。夏言心里知道所谓众人的怨气，是指郭勋等人。再次上书道谢，说自己不敢自处于别人的后边，一心一意，孤立无援，所以被众人怨恨。世宗又不高兴，责问他，他惶恐认罪，才算罢休。没多久，雷电震坏了奉天殿，世宗召见夏言及顾鼎臣，夏言没按时来到。世宗又一次训斥了他，并让礼部揭发他的罪状，夏言等主动认错，世宗又批评他傲慢，并批评了顾鼎臣。过后，才算归还了以前追讨出来的银章和墨宝。陕西传来捷报，恢复了他少师、太子太师的勋位，升为吏部尚书，值勤于华盖殿。江、淮一带叛乱得到平定后，世宗用盖了玉玺的诏书奖励他，赐他金币，让他兼领大学士俸禄。嘉靖十九年，顾鼎臣逝世后，翟銮又一次入内阁，对夏言慎重得像他所属小吏一样，言语中不敢有一点矛盾。而霍韬任詹事府主管，几次制造矛盾。因为郭勋与夏言感情上有裂痕，就结交他，让他帮助自己，三个人开始不停地勾心斗角。后来，霍韬去世，夏言、郭勋依然在相互争斗。
“这个夏言也是可怜啊，被奸人陷害。”刘辩呢喃着。
世宗祭祀祖宗的庙宇发生火灾，夏言当时因病在假，请求罢官，未得到批准。昭圣太后逝世，世宗用诏书询问太子丧服的礼数，夏言回答的奏疏有错字。世宗严厉批评了他，他在认错的同时又请求回家乡治病。世宗更为恼火，就命令他以少保、尚书、大学士的待遇致仕。夏言听说世宗对自己恼火，就进呈了十四篇有关边境防御的策论，希望因此得到谅解。世宗说:"夏言既然对国事有忠诚的谋划，为什么那样坚决地自我爱惜，辜负朕对他的信赖呢?姑且不治他的罪吧。"当初，夏言撰写青词及其他文章，最能满足世宗的心意。夏言罢官后，只有翟銮在职，并不是世宗急着要用的人。夏言即将离开京城时前往西苑的斋宫磕头谢恩，世宗听说，很怜惜他，特地赐他酒食，让他回私人住宅治病，等待以后的任命。恰好郭勋因为谏官很厉害地弹劾他，也称病在假。
京山侯崔元新近得世宗宠信，在西苑值勤，他忌恨郭勋。世宗闲谈中问崔元说:"夏言、郭勋是我的左右臂，他们相互忌妒是什么原因?"崔元不说。世宗问夏言什么时候回家乡去，崔元说:"等圣诞(世宗生日)过后他才敢请放行。"又问郭勋得了什么病，崔元说:"郭勋本没病，夏言一回家他就会出来了。"世宗点头同意。谏官知道世宗宠信夏言而厌恶郭勋，就一起揭发郭勋的罪证，郭勋的辩护词狂悖错乱，世宗发火了，剥夺了郭勋同事王廷相的官籍。给事中高时，是夏言深厚交结的知己，这时揭发了郭勋十几件贪污、放纵、不守法度的事情。世宗因此把郭勋关进了监狱，恢复了夏言少傅、太子太师、礼部尚书、武英殿大学士的官职，等病好入内值勤。夏言虽然在病假中，内阁的事务多由他裁定。办理郭勋的案件，都是按他的授意进行的。嘉靖二十一年春，夏言任一品官满九年，世宗派宦官颁赐银币、宝钞、羊酒和宫廷食品，全部恢复了他的官级，用加盖玉玺的诏书奖励、赞美他，在礼部为他举办宴会，由尚书、侍郎、都御史作陪。这个时候，世宗虽然优待、礼遇夏言，不过对他的宠信已不如当初了。
慈庆、慈宁两宫夫人去世后，郭勋曾经请把其中一个改由太子居住。夏言以为不合适，符合世宗之意。到这个时候世宗突然又问起太子应当住哪里，夏言忘记了自己先前的话，因想到再造宫殿费事烦人，就做出了和郭勋一样的回答。世宗心里不高兴，又怀疑谏官弹劾郭勋是出于夏言的指使。等建造大享殿时，世宗命令宦官监视，夏言却不替世宗写敕令文稿进呈。到西苑值勤的几个大臣，世宗都命令他们骑马，又赐给他们束发用的香叶巾，让他们用皮绵做鞋子。夏言以为这不是礼制规定的大臣服装，不肯接受，并且只有他乘坐手挽的齐腰小轿。世宗积累了这几桩不满，想要罢他的官，因而严嵩得到了排挤他的机会。
严嵩与夏言是同乡，称夏言为前辈，对夏言很谨慎。夏言入内阁时推荐严嵩接替他原来的官职，把他当作门客收笼，严嵩心里很是恨他。夏言失去世宗信任后，严嵩因为善于谄言媚语，得到世宗欢心。夏言担心被罢官，唤严嵩过去商量，严嵩却已经偷偷到陶文忠家里计划怎么咬他坏话以便取而代之。夏言得知非常恼恨，便示意谏官一次次弹劾严嵩。世宗正在宠信严嵩，并未听进去，而二人从此就大为不和。严嵩得到世宗宴请和召见时，磕头下跪，诉说夏言怎么欺辱他，泪如雨下。世宗让他把夏言的罪状全说出来，严嵩这下得以大揭其短。世宗大为恼火，写诏书给礼部，一一数说夏言的罪过，并且说:"郭勋已关入监狱，他还千方百计罗织罪名。谏官本是朝廷的耳目，却专听他夏言指使。我不早朝，他夏言就不入阁办事。军国大事，能在他家里裁决;天子说的机密话，他也敢把做儿戏玩。谏官对此不发一言，就这样欺骗君上，使得鬼神怨怒，下大雨伤害了庄稼。"夏言很害怕，赶紧上书认错。过了十多天，献帝周年时，他还被召进去拜见，到西苑侍候皇帝。夏言借机谢皇上恩典，并请求准他老病还乡，话说得很哀伤。奏章在皇帝那里放了八天，正好七月初一日食，过后，世宗亲写诏令说:"老天日食超过常分，正犯着下级欺慢上级的过错，现在朕命令剥夺夏言的官职，让他回家闲住。"世宗又承认自己的三种过失，布告天下。御史乔佑、给事中沈良才等都上书评论夏言的事，并各自请问己罪。世宗大为恼火，贬斥了十三个人，其中高时因曾弹劾郭勋，单单被重贬到遥远的边地。于是严嵩取代夏言步入内阁。夏言任首辅多年，家境殷富，服饰、日用豪华、奢侈，也常和别人通讯问好并馈赠钱物。罢官时间长了，不见召用，监司府县的官吏也稍稍待他冷淡了，夏言心里闷闷不乐。
每遇元旦、世宗生日他必定上表称贺，自称为"草土臣"。世宗也渐渐怜悯他，就恢复了他尚书、大学士的官衔。嘉靖二十四年，世宗微微觉察到严嵩的贪婪和放纵，又想到了夏言，派官员送亲笔诏书召他回朝，恢复了他的少师等全部官职，也加封严嵩为少师，看起来像是与夏言并重的样子。夏言来以后，一直气愤严嵩凌驾在自己头上，凡有所批示，概不征求严嵩的意见，严嵩闭上嘴巴不敢说一句话。严嵩私自所提拔使用的人，夏言大加罢斥、放逐，严嵩也不敢帮忙，但对他恨入骨髓。当时全国的士大夫正恨严嵩贪婪、嫉妒，认为夏言能压服严嵩，制其死命，莫不深感痛快。而夏言因为罢官时间长，一心要扩大权势。文选郎高简充军边远，唐龙、许成名、崔桐、王用宾、黄佐被罢官，王杲、王日韦、孙继鲁吃官司，都出于夏言的指使。贵州巡抚王学益、山东巡抚何鳌被谏官弹劾，夏言马上就草拟命令加以逮捕、审讯。唐龙过去与严嵩相好，王日韦的事又牵连着严世蕃，还有其他被他贬斥的也不全恰当，因而朝廷中士大夫对他开始畏惧了。最后御史陈其学因盐法的事情弹劾崔元及锦衣都督陆炳，夏言草拟命令要他们自己写供词说明，两人都到夏言跟前认死罪，陆炳乃至跪下双膝请求才得到谅解。后来他俩与严嵩开始勾结准备陷害夏言，而夏言却没有发觉。世宗几次派遣小宦官到夏言的住处，夏言气势凌人，把他们看作奴才。严嵩则肯定请他们坐下，并亲自把些金钱塞进他们的袖管中。因此这些宦官天天说严嵩的好，卖夏言的赖。夏言所献上的青词往往不合世宗的心意，严嵩得知后，越发认真地撰写进呈的宫体诗词。
之后在嘉靖二十七年，收复河套的议论为人提起。夏言原本是慷慨其辞，自以为有经世济用的才能的，想建立百代功勋。因为陕西总督曾铣请收复河套，就赞成、决定此事。严嵩与崔元、陆炳在中间捣鬼，最后夏言因此弄得身败名裂。原来江都人苏纲，是夏言后妻的父亲，与曾铣关系很好。曾铣请求收复河套时，苏纲极力对夏言称赞他。夏言认为倚靠曾铣此事能成，就秘密上书推荐他，说大臣中间没有比曾铣更忠诚的了。世宗让夏言拟定旨意，再三夸奖曾铣，曾铣心里高兴，更加坚决地出兵作战。世宗忽然又下诏书责备，语气很严厉。严嵩揣测到世宗的真心，就尽力说河套不可能收复，言词中间连及夏言。夏言方才大惧而称罪认错，又说严嵩未曾有过不同意见，如今竟一切推在我身上。世宗批评他为难君上，威逼众人。严嵩又上书折腾，攻击他。夏言也极力辩解。然而世宗已被严嵩的诬告蒙住，怒气难能消除。于此年剥夺了夏言的全部官衔，让他以尚书的名义致仕，但仍没有杀他的意思。碰巧有流言蜚语传入宫中，说夏言临走时埋怨、诬蔑世宗。严嵩又代仇鸾起草上书，攻击夏言收了曾铣的贿赂，插手关市，谋取暴利，事情牵连到苏纲，于是把曾铣、苏纲关进了京城的大牢里。严嵩和崔元、陆炳暗里商量，就用勾结皇帝身边侍卫人员罪名将曾铣斩首，苏纲到边远地区充军，并派官兵逮捕夏言。