所，安下心来。后来，王聈去讨伐兰池的叛胡康待宾，皇帝诏令张说去与王聈一同商量对策。当时，党项羌也连兵来攻银城，张说率领一万人合河关乘其不备，打得他们大败，直追赶到骆驼堰。羌人胡人自相猜疑，夜间自相残杀。康待宾逃铁建山，其他的人也都逃散。张说招纳党项，让他们回到原地。副使史献建议杀尽党项，张说不同意，向皇帝奏请设置麟州以安顿羌人。

就在这一年，召张说回京，任兵尚书、同中书门下三品。张说要让给宋瞡、陆象先，未蒙允许。第二年，诏令张说为朔方节度大使，亲赴五城，督各州兵，时常巡边。那时，庆州方渠降胡康待宾的余党康愿又叛，自称可汗，掠夺牧，涉河。张说督兵讨，追到木般木山将康愿抓获，且捕得叛胡三千人。

于是建议将河曲六州的残胡五万多人迁唐州、邓州、仙州、豫州等地。将河南朔方之地空来。张说论功受赐实封三百。以前，边镇的戍兵常有六十多万。

张说认为太平之时戍兵无事，建议撤销二十万，让他们回家耕。天怀疑此建议的可行，张说说：“边兵虽多，但各将帅都只拥兵自卫，役使兵丁营私。

真能制敌，不在兵多。以陛下之英明威武，四夷都能臣伏，不用担心裁减人员会招来寇贼。臣请以臣全家百人担保。”皇帝于是同意。当时宿卫的兵贫弱，班休假时很多都逃跑了。张说建议招募壮士，修改条令，减少劳役。不到十天，选得兵十三万，分别补给各卫，增京师的守卫。这就是后来称为“弓广骑”的卫队。

皇帝从东都回京师，就便到达并州。

张说见皇帝时说：“太原，是国家王业的发祥地，陛下巡视到此，振威耀武，并建碑纪德以表达永恩的意思。由河东京师，那里有汉武帝时为祭祀后土的月隹上祠，这祭祀后土之礼长久未行了，历代都没能举行。愿陛下能振兴典礼，为三农祈福。这是恩赐万民之福。”皇帝接受他的建议，过月隹上祠时祭祀了后土。回京后，升张说为中书令。

张说又倡议封禅，受诏令与各儒官草拟封禅时的礼仪程序。旧仪程有不合适的，张说很多都加以改正。皇帝召张说及礼官学士赐宴集仙殿，说：“我今日与各位贤者同宴于此，宜改名为集贤殿。”于是下制，改丽正书院为集贤殿书院，任张说为集贤院学士，理院事。封禅回来后，任张说为尚书右丞相兼中书令。皇帝诏令张说撰写《封禅坛颂》，刻在泰山，以夸成功。当初，左丞相源乾曜本不同意封禅，而张说再三要求，于是对张说有了看法。及至登山，应该跟随上山的执事官，张说都他所喜的人，而且都超级升为五品。随行的兵士，只加功勋而没有赐。众人因此而埋怨张说的专权。

御史中丞宇文先献策，请收集天下的游民及籍外剩田，设置十的劝农使，分往郡县检察。张说怕他们扰人不便，多次建议不这样。这时，宇文奏请吏设置十铨，由宇文与苏廷页等分考察遴选官员之事。宇文有所建议奏请，张说常常贬抑他。宇文心中怀恨。于是与崔隐甫、李林甫共同揭发检举张说“招引术士王庆则夜间祈祷，又招引僧人岸刺探时事，其亲信张观、范尧臣依仗张说的权力，收贿卖权，擅自给太原九姓羊钱一千万”揭发的内容极为丑恶，皇帝看了大怒，诏令源乾曜、崔隐甫及刑尚书韦抗，就在尚书省审讯张说，还调金吾兵包围了他的家。张说的哥哥左庶张光到朝堂割耳朵鸣冤。

皇帝派力士去看，见张说蓬垢面，坐在草席上，他的家人用瓦钵装着米饭及腌菜给他吃，作为自罚。力士回报了情况，说：“张说往日一向忠心，且与国有功。”皇帝也有些同情他。于是罢了张说中书令之职，诛杀了王庆则等人，牵连的还有十多人。张说既罢了政事，就在集贤院专修国史。张说还上书乞停止右丞相一职，皇帝不许。每遇有军国大事，皇帝总要派人去咨问。崔隐甫等人怕皇帝还会复用张说，就巧文诋毁他，平时不喜张说的人又写了篇《疾邪篇》。

皇帝知后，就诏令张说退休。

张说刚开始任宰相时，皇帝打算讨伐吐蕃，张说秘密奏请允许吐蕃讲和，使边境得以休养生息。皇帝说“：我等王君耯来商量。”张说来后告诉源乾曜说：“王君耯贪功心急，定会用兵取利。他一去，我的建议一定不被采纳的。”后来，王君耯在青海西大破吐蕃兵。张说估计王君耯会败，于是将辒州的斗羊献给皇帝，上表说：“假如羊能说话，它必定会说‘：斗而不止，当即就有斗死的。’它所以能活命，全赖至仁不残，量力取即止。”皇帝明白他的意思，收下羊，赐彩千匹。后来，瓜州失守，王君耯死。

开元十七年(729)，张说又为右丞相，升左丞相。到任之日，敕令所司供帐，设音乐，由大内拿酒，皇帝还为之赋诗。不久，任开府仪同三司。开元十八年(730)死，终年六十四岁。皇帝为之停止元旦的正会。追赠太师，赐谥为“文贞”群臣驳议，以为不称“文贞”

皇帝亲自为他写神碑，御笔赐谥。这才最后定下。

张说看重气节，讲信誉，在君臣朋友之间，讲究大义。皇帝在东时，与他一起秘密商议的事甚多，后来终于成为开元宗臣。朝廷中的大文章，大都自张说之手。皇帝喜好文辞，要写什么，一定要张说起草。张说善于用人之长，引荐了很多天下的知名之士，帮佐王化，粉饰典章。天尊崇经术，开馆设学士、修太宗之政等事，都是张说倡议的。他的文章，思路开阔致，尤其长于碑志，是世人所不及的。后来贬谪到岳州，其时的诗格外凄婉，人们说是得江山之助。曾主集贤图书。当中虽有一年退休，但仍在家中修史。