基于上述看法，张居正决定从整顿吏治开始他的改革。万历元年(1573)十一月，张居正上疏实行“考成法”明确职责。他以六科控制六，再以内阁控制六科。对于要办的事，从内阁到六科，从六科都到衙门，层层考试，到心中有数。改变了以往“上之督之者虽谆谆，而下之听之者恒藐藐”(《张文忠公全集》卷三八《请稽查章奏随事考成以修实政疏》)的拖拉现象。考成法的实行，提了各级门的办事效率，而且明确责任，赏罚分明，从而使朝廷发布的政令“虽万里外，朝而而夕奉行”(《明史.张居正传》)。

张居正整饬吏治的目的主要还是“富国兵”这条红线贯穿于他的改革之始终，实行考成法的最大收获也正在于此。

张居正在施行考成法时，将追收逋赋作为考成的标准。万历四年规定，地方官征赋试行不足九成者，一律罚。同年十二月，据科给事中奏报，地方官因此而受降级分的，山东有十七名，河南二名；受革职分的，山东二名，河南九名。这使惧于降罚的各级官员不敢懈怠，督责主们把当年税粮完纳。由于改变了拖欠税粮的状况，使国库日益充裕。据万历五年统计全国的钱粮数目，岁达435万余两，比隆庆时每岁所(折、钱粮及盐课、赃赎事例等项银两在内)250余万两之数，增长了74％(《明通鉴》卷六七)。财政收支相抵，尚结余85万余两，扭转了长期财政亏虚的状况。正如万历九年四月张居正自己所说的：“近年以来，正赋不亏，府库充实，皆以考成法行，征解如期之故。”(《张文忠公全集》卷四五)可见，实行考成法虽是一政治改革，但它对整顿田赋、增加国家财政收起了很大作用。

但是仅靠考成法增加的收仍是有限的，更远远不能满足王公贵族的无限挥霍。张居正认为人“古之理财者，汰浮溢而不骛，节漏费而不开利源”理财还是要以节用为主。他所行的一系列改革几乎都在围绕这个中心行。

比如他通过加对官吏的考，裁减冗员，节省朝廷的俸禄开支。据对“两京大小九卿及各属，有沉滥者裁之”竞“汰冗员二三”同样，张居正也通过各途径削减朝廷的军费开支。一方面与鞑靼人修好，通贡互市，保持边境安定，减少战争费用，另一方面也大量削减抚赏开支。到万历二年，北边“三镇二岁之中，所费不过万余，而所省已百余万”还通过减客兵，清粮糗的办法减少支“岁所省，儿得数十百万”

同时，张居正还要求封建社会的最统治者皇帝勒带，和大家一过日。他不仅多次向神宗提“节用民”“以保国本”而且在皇室的奢侈费上，也是锱株必较，寸步不让。万历七年，神宗向索求十万金，以备光禄寺御膳之用，居正据理力争，上疏说，收支已经不敷用“目前支持已觉费力，脱一旦有四方旱之灾，疆场意外之变，何以给之？”他要求神宗节省“一切无益之费”结果，不仅免除了这十万两银的开支，连中的上元节灯火、灯费也被废止。在张居正的力争下，还停止重修慈庆、慈宁二及武英殿，停输钱内库供赏，节省服御费用，减苏松应天织造等，使封建统治者的奢侈消费现象有所收敛。

对于自己的用度，张居正也是力戒奢华。纂修先皇实录，例得赐宴一次。张居正参加篆修穆宗实录，提辞免赐宴。他说：“一宴之资，动之数百金，省此一事，亦未必非节财之”他还请求将为神宗日讲的时间放在早上，可以免晚上的灯火费用。

张居正在整顿吏治、厉行节约的过程中，不仅自己廉洁奉公，而且对家属也严格要求。儿回江陵应试，他吩咐儿自己雇车；父亲生日，他吩咐仆人带着寿礼，骑驴回里祝寿。万历八年，居正次弟居敬病重，回乡调治，保定巡抚张卤例外发给“勘合”(使用驿站的证明书)，居正立即还，并附信说要为朝廷执法，就不能以作则。对于明王朝来说，张居正确实是难得的治国之才。他早在内阁混斗、自己政治生命岌岌不保的时候，写过一偈：“愿以心奉尘刹，不予自求利益。”他的确是到了。