嘉靖帝试饮，醇香浓厚，味道好极了。估计美酒里面有植物兴奋剂，忽然间让嘉靖帝神清气爽。他非常高兴，立下手敕，向严嵩询问此酒制作工艺。
严嵩接敕大惊，咬牙道：“赵文华安敢这样做！”确实，这狗儿子瞒着自己向皇帝献好酒，让皇帝感觉自己有好东西舍不得奉献。如此，赵文华自己做好人，倒让老严巴结皇帝落于人后，这真让人窝心。恼怒归恼怒，严嵩也不敢发作，婉转上奏道：“臣生平不食药饵之物，臣活这么久，自己也不知所以然，绝非饮药酒而及。”
回阁房后，严嵩盛怒，立刻召来赵文华大骂责斥。小赵跪泣久之，老严怒不可解。不久后，严嵩休假归朝，群僚进见，严嵩仍怀恨赵文华，让从吏把他推出门外。
这一来，赵文华真怕了，携大笔金宝跪献自己干妈（严嵩老婆）。一日，严嵩夫妇家宴，严世蕃以及众义子侍立两侧，一家人其乐融融。赵文华事先跪伏于窗外，观察动静。良久，严嵩老妻佯装不知这对义父子二人不和事，问老严：“今日全家欢会，怎么独不见我儿文华？”严嵩轻蔑一笑：“阿奴负我，怎能在此！”严嵩妻忙温语相劝，诉说赵文华诸多“孝敬恭顺”事情。严嵩听着，面色转和。
赵文华见时机已到，立刻急趋入房，长跪涕泣不已，连声叫爹，于是父子二人和好如初。
东南倭患昌炽后，严嵩禀报嘉靖帝，派赵文华在祭海神的同时，前往那里主剿倭寇。赵文华无略小人，胡乱指挥，冤杀总督张经等人，向朝廷妄报成功，得进工部尚书，加太子少保。幸亏有胡宗宪、俞大猷等人能干，平徐海，俘陈东，使东南倭患大有收敛。当然，这些成绩，赵文华皆据为己功。为此，明廷加其太子少保，荫其一子为锦衣千户。
赵文华在东南倭患中的种种劣行，笔者将在后面平倭的文章中详述。
赵文华自恃立功而得宠遇，日渐骄横，连严世蕃也不放在眼里，拿宫中大小太监也不当回事。特别让严世蕃生恨的是，赵文华曾向他进献一顶金丝编织的幕帘，小严稀罕当作宝贝。后来他才得知，赵文华有美妾二十七人，人人有这样的金幕帘，这让小严深以为恨。
宦官方面，由于赵文华手紧，不再出金银，大小太监根本从他那里再也打不到秋风。于是，这些人回宫后，就总是向嘉靖帝汇报赵文华接受皇帝赐物时倨傲不礼。特别让皇帝生气的是，赵文华进献西域春药，嘉靖帝饮服后效果特好，一夜连御数女。药丸食尽，他又向赵文华索要这种西域“伟哥”，但老赵皆自己享用，回称没有。宁可无了有，不可有了无。嘉靖皇帝大恨。
一日，他上宫城远眺，见西长安街新起一高楼，耸入云天，就问左右：“谁家宅第，如此豪华？”左右称：“赵尚书新宅。”其中有一人被赵文华得罪过，阴不拉叽来一句：“工部贮存修宫殿的巨木，大半都被赵文华盖新宅了。”
嘉靖帝闻之脸色大变。稍后，嘉靖帝就找茬让他“回原籍”修养。又过些日子，嘉靖帝怒发其罪，黜赵文华为民，并贬其子为小兵戍边。赵文华当时真得了病，遭此大谴，病势转沉，腹溃而死。
严嵩晚年，思维迟滞，再不像初时那样对一直在西苑“玄修”的皇帝所发诏旨做出敏捷反应。
嘉靖帝大道家，大文学家，手敕往往辞旨玄奥。这时候，只有严世蕃能刻意揣摩，并达无不中。一方面是由于严世蕃智商高，二方面因为他“情商”也高，总拿大把银子贿赂皇帝左右宦官侍女。所以，嘉靖皇帝喜怒哀乐，宫内的耳目们纤悉驰报，他们每次均能从小严处得到大笔“情报费”，故而严世蕃成竹在胸，想皇帝所想，急皇帝所急。
严嵩最后当政时期，诸司上报事情要他裁决，他均说“与东楼议之”。“东楼”，严世蕃别号也。早年，由于有妻子欧阳氏规劝，严嵩对儿子管教甚严。欧阳氏病死后，小严再也无人管束。而且，由于缺儿子不行，严嵩上表皇帝，请皇上允许儿子留京伏侍自己，让孙子代之扶老妻之丧归老家。
严世蕃服丧期间，大行淫乐之余，在家中代老父处理诸司事务。由于他身有丧服，不能入值朝房，这让老严嵩就作了难。
有时嘉靖皇帝派宦官急扯白咧，狂催老严拟旨草文什么的。可怜严嵩老眼昏花，老脑袋已经转不动，奏对多不中旨，使得嘉靖帝大为恼火。
此外，道士蓝道行以扶乩为名，用沙盘代替“神”言，极陈严氏父子弄权跋扈之状。嘉靖帝问：“如果此事为实，上天何不殛杀二人？”蓝道行答：“留待皇帝正法！”嘉靖帝默然心动。
老严还有另外得罪嘉靖帝的地方。嘉靖帝自居的西苑万寿宫因火灾不能住，暂居狭窄的玉熙宫，因此郁郁不乐。他召问严嵩，老严劝皇上还大内居住。这可触动了嘉靖帝的忌讳。正是由于嘉靖二十一年皇帝本人在大内宫中差点被宫女们勒死，这位一向信邪迷信的皇帝再未回去居住。严嵩此议，正触霉头。不久，严嵩又请皇帝还居南内，那地方又是从前明英宗被软禁的地方，此议让嘉靖帝更怒。
这时候，关键的时候，好好先生徐阶出场了。
徐阶，江苏华亭人，嘉靖初年进士出身，乃当科探花郎。史书上称他“短小白皙，善容止。性明敏，有权略，而阴重不泄。”入翰林后，他本来远大前程一片光明，却得罪了当时的皇上大红人张璁，徐阶被贬出京外。过了好几年，昔日春风得意又秋风失意的小徐才得以重返翰林，并受夏言授引，一步一个坑，最终当上了礼部尚书。
从“站队”方面看官场，严嵩整掉夏言，肯定要“惦记”徐阶。可这徐尚书经过从前的蹉跎，深知当朝一把手惹不得。他从不当面顶撞严嵩，把老严奉承伺候好得不行，所以严嵩除掉他的意思就不那么迫切。更庆幸的是，夏言虽倒，徐阶因一手漂亮“青词”，哄得嘉靖帝对他大加青睐，须臾不可或离。如此，严氏父子想搬除他，倒是非常非常之难。
当然，此前有一事，差点老严要了小徐的性命：一日，嘉靖单独召严嵩问话，征询他对徐阶的看法。严嵩想了想，说：“徐阶缺的，不是才能，只是心眼太多些！”这句话要命，老严是讲先前徐阶力争嘉靖帝早立太子之事。嘉靖脸色阴沉，幸亏后来未对此事深究。正是由那时起，徐阶对严嵩益加恭敬，并惮精竭虑撰写青词给嘉靖帝，以图保身。
嘉靖帝想造新宫，问严嵩，没结果。他就召时为次辅的徐阶。徐阶一口应承，表示先前建殿，余留建筑材料很多，如果下令营建，几个月即可造成新的宫殿。嘉靖帝大悦，立即下诏任除阶儿子尚宝丞徐墦兼工部主事一职，主持建新宫。结果，仅仅三个月多一点，宏伟雄壮的新宫建成，嘉靖帝当天就迫不及待搬入“新家”，名之曰：“万寿宫”。
经过此事，皇帝对徐阶另眼看待，深以为忠，进其为太子少保，兼支尚书俸禄，并超擢其子徐墦为“太常少卿”。
严嵩知悉帝宠已移，又开始装孙子，率儿子严世蕃一群子孙家人到徐阶家中，表示说：“老夫活得也差不多了，我死后，徐大人善待这些人！”
徐阶装得更像，立即还拜，表示自己受严相爷提拔，对他绝无二心。
严嵩一行人刚走，徐阶儿子徐墦进屋，对父亲说：“大人您这些年一直受严氏父子欺压，该出手时候一定要出手！”岂料，徐阶拍案大骂：“没有严相爷，我们徐氏父子哪里有今天，你这个忘恩负义的东西，死了狗都不吃你！”原来，严氏父子耳目众多，徐阶家人中就有几个严世蕃重金豢养的“间谍”。
徐阶的“表现”，立刻传到严氏父子耳中，从此老严对徐阶完全放松了应有的“警惕”。
嘉靖四十一年（1562年），身为御史的邹应龙忽上奏章，弹劾严世蕃贪污受贿等不法之事。但奏章当时未敢牵连严嵩，只讲他“植党蔽贤，溺爱恶子”。
历史上有些事，发端有时离奇近乎荒诞，邹御史之所以敢于忽然间挺身而出，并非直接受徐阶指使，而是缘于他所做的一梦：他梦见自己骑马出猎，看见东边有一高楼，土基宏壮，顶覆秸杆。邹应龙拉弓而射，大楼轰然坍倒。醒后，邹御史鼓励自己，这是我搬倒“东楼”（严世蕃）的吉兆啊，于是他奋笔疾书，立写弹文。
嘉靖帝对严嵩父子日久生厌，又有道士们一旁撺掇，便下诏逮严世蕃入大理狱，命严嵩致仕，但岁禄照发，留有情面。
发现皇帝对老父严嵩没有一棒子打死，严世蕃深知事情不像想象中那样不可挽救。他通过早先交结的内保太监，奏称道士蓝道行与邹应龙里外勾结，陷害大臣。嘉靖帝各打五十大板，命人逮捕蓝道士送入牢房审讯。严嵩嘱托刑部的心腹，严刑拷打蓝道行，最终目的让他诬攀徐阶为幕后指使。谁料，蓝道士挺“英勇”，坚决不承认受徐阶嘱指。由于严氏父子势力根深固结，最终蓝道行获罪被处死。
朝中独相十余年，严嵩党羽力量确实大。但是，如果不处理严世蕃，又无法向皇帝交待，法司最后就“裁定”严世蕃受贿八百两白银，上案于御前。
廷议后，判决流放严世蕃于雷州，其两个儿子及心腹罗龙文等人分戍边地。
嘉靖帝念严嵩旧情，特宥严世蕃一个儿子为民，回老家伺候严嵩起居。
严嵩离朝后，没人再与自己谈玄论道，加之蓝道行又被处决，年已半花的嘉靖帝追念老严过去二十多年的赞襄之功，悒悒不乐。