当面写下有关事宜，并立即提他为左谕德兼监察御史，让他奉命前往各个队传达世宗的指示神，发给他五万两白金，由他看情况劳、奖赏将士。开始的时候，贞吉在朝廷讨论结束，气昂昂地前往拜访严嵩。严嵩谢绝会见他，贞吉恼火地喝斥了严家的看门人。恰好这时赵文华也来拜访严嵩，贞吉把他也训斥了一通。严嵩这下十分恼他。等到起草皇上指示时，就没有让贞吉监督作战，以便削减他的权限，并且不给他一兵一卒护行。当时敌寇的骑兵到都是，贞吉飞各位将领的兵营中，散发白金，犒赏官兵，传达了世宗的指示神，第二天就回朝作汇报。世宗大为恼火，批评贞吉对军事没有作任何规划、置，只是在为周尚文、沈东游说，所以把他关了皇家监狱，并在朝廷杖打了他一回，然后把他贬为荔波典史。后来稍微升职当了徽州通判，又升为南京吏主事。

嘉靖四十年(1561)，贞吉升任右侍郎。一次朝廷讨论派遣大臣前往蓟州督办军饷，练军队，严嵩想任用贞吉前往，就召他喝酒告诉他这个打算。贞吉说“：让我督办军饷，是督办京运呢还是督办民运？这两运饷现在都有专人负责，再设一官只能添加烦扰罢了。况且军队没得到练的过错原因也不该是运饷，就是派十个侍郎对练兵又有什么帮助？”严嵩不兴地作罢了。后来当严嵩请假在家时，吏任用了仓场侍郎林应亮。等严嵩来后就更不兴了，让都给事中张益弹劾应亮，把他调到南京，改用了佥都御史霍冀。张益在他的上书中又说“：督办粮饷是的专门职责，现在贞吉和左侍郎刘大宾在推选中本未被提名，说明他们不称职，应该予以免职。”于是他们两个侍郎都被免了职。

隆庆初年，贞吉起复，了礼左侍郎，掌詹事府的事务。穆宗视察太学时，祭酒胡杰刚刚被人评议后罢官，贞吉代理其事务，因为他讲解《大禹谟》让穆宗满意，穆宗就任命他充任自己的日讲官。贞吉那时已年过六十，但说起话来理直气壮，行走坐立仪表堂堂，穆宗对他很注重。不久贞吉升任南京礼尚书，已经动了，穆宗因想念他，又留下他当经筵直讲。

三年秋天，穆宗让贞吉兼任文渊阁大学士参与机要事务。贞吉上朝谢恩，奏“：下朝廷的纪纲、边境的防务都不景气，我想为国捐躯，大胆事，希望陛下能为我主。”穆宗这下更加兴了。后来碰上敌寇打大同，总兵官赵岢了事，总督陈其学反而当成捷报递上，被御史燕如宦揭发了。贞吉用重刑置其学，兵尚书霍冀只主张把他贬官。贞吉和同事争不过他，于是上书说“：边关的大将违法，祖宗定下的罚条例都还在，现在执法者屈法徇人，对得起公众吗？我老了，想尽忠也没有办法，请把我罢免了吧！”穆宗不答应。不久还把他加官为太太保。

贞吉认为先朝的禁军分为三大营，每营都有统帅，现在让一个人总督三大营兵力，权力太大，难于控制。所以极力陈述这样的弊端，请把禁军分作五营，各设大将统率，大略恢复成祖宗时的老样。穆宗认为是好办法，命令兵召集朝臣加以讨论。尚书霍冀过去和贞吉主张不一致，对他的主张很不以为然。朝臣中也有很多人认为兵在于选择大将，不在于改革兵制。霍冀等人于是递上奏议说三大营应维持原样，只是让一个人当总督，权力太大，应该给三大营各一名大将，废除总督，由一名文官担任总理。穆宗批示说可以。

原先给事中杨。。弹劾霍冀贪婪、无能。穆宗已经继续留用他，霍冀因为杨。。是贞吉的同乡，就怀疑对他的弹劾是贞吉的主意，又上书辩解，请求罢免，并且在奏章中攻击贞吉。贞吉也上书请求离休。穆宗传诏挽留贞吉，把霍冀削了职。此后禁军的营制屡次调整，不一年就又恢复了老样，贞吉也争执不过。只是俺答叩击边请求封赏时，贞吉曾极力促成这件事。

在这之前，拱二次阁，并且一阁就兼了吏。贞吉向李芳请求，也兼了都察院。拱因为私仇想考察科官，排斥异己。贞吉和同事上书说：“不久前因为御史叶梦熊议事不恰当，犯了陛下，陛下就严厉地指示考言官，并且连带考任期内升了官的大臣，应当接受考的有将近二百人，其中难就没有忠心报效陛下、敢于仗义直言的人？现在全把他们看成放肆、邪之人治罪，我担心有关门在执行过程中得太过分，忠邪不分，以至于阻言路，打击士气，这可不是国家的福份啊。”穆宗不听。拱因为贞吉说中了他的隐情，也恨透了他。等到考察时，拱想拿掉贞吉喜的人，贞吉也拿掉拱所喜的人来解恨。就这样被罢斥的有二十七个人，拱所厌恶的已都在其中了。他还引以为恨，唆使他的门生给事中韩楫弹劾贞吉平庸而且专横，在考察过程中徇私舞弊。贞吉上书辩解，请求退休，并且说“：我自从掌都察院以来，仅仅因为考察这一件事和拱意见不一致。他所的其他一些破坏选法、放肆作假、明白不过的坏事，我闭着嘴不敢说，辜负了陛下对我的任命，我实在是个平庸的大臣。像拱，那才真叫专横呢。我罢官以后，最好还是让拱回内阁中去，不要让他长期掌握用人大权，广树朋党。”奏疏递以后，穆宗竟批准他退休了，可是拱仍旧掌握着吏的大权。