张说重回朝廷之后，所做的第一件事就是裁军。
他看到唐朝边境有镇兵六十多万，当下以“时无强寇，不假师众”为由，奏请裁军二十万，让他们回乡种地。
李隆基对此犹豫不决。
张说道：“边军虽多，但各将帅都只管拥兵自卫，役使兵丁营私。真能制敌，不在兵多。以陛下之英明威武，四夷都能臣伏，不用担心裁减人员会招来寇贼，臣请以臣全家百口人做担保”
李隆基这才答应。
结果显示，军队人数虽然少了，敌人依然不敢进犯，国家要省了一大半的费用。
公元723年，李隆基升张说为中书令。
第二年，张说倡议李隆基到泰山举行封禅之事，并与徐坚等人草拟封禅时的礼仪程序，对不合时宜的旧仪程加以改正。
李隆基决定封禅泰山，临行前任命张说为右丞相兼中书令，又命张说撰写封禅坛颂，准备刻在泰山之上。封禅时，张说将跟随上山的执事官，都安排为自己亲信之人，尤其是他的女婿，越级升为五品。
他之所以这样做，是因为他被贬多次，终于悟出一个道理，那就是，有能力时，要多提拔自己人，以后倒霉了，起码有人关照自己
其中岳父被称泰山，也因这一次泰山封禅而来。
李隆基的这一次泰山封禅，按照惯例，封禅之后，三公以下所有官员都要迁升一级。
张说利用职权，把本是九品小官的女婿郑镒提升至五品，并赐绯色朝服。
李隆基封禅成功之后，大宴群臣，他看到郑镒，问他为什么升的这么快。
郑镒哪里敢把实情说出来当下张口结舌，无言以对。
戏子黄幡绰打趣说:“这都是泰山的功劳啊”
从此以后，人们就把岳父称为泰山。
张说再次为相，从公元723年开始算起的话，做到公元726年，一共做了三年，这三年来，他最大的贡献，就是推动唐朝文学的发展，尤其是诗歌。
张说他自己本身就是个诗人，是一代文宗，号称"燕许大手笔"。
李隆基设立丽正书院，任命张说为修书使，主持其事，让他招纳文学之士，著书立说，宣扬文学。
725年，李隆基将丽正书院改为集贤殿书院，任命张说为集贤院学士，知院事，继续推动文学的发展。
全唐文中收录张说的文章211篇，全唐诗收录他的诗歌293首，可谓在那个年代的高产作家。
我把张说的诗都翻了一遍，竟然没有一首是出名的，我唯一有印象的，就是那首蜀道后期的小诗：
客心争日月，来往预期程。
秋风不相待，先至洛阳城。
当然，他写得最好的，就是邺都引，很有曹操的诗风，慷慨古朴：
君不见魏武草创争天禄，群雄睚毗相驰逐。
昼携壮士破坚阵，夜接词人赋华屋。
都邑缭绕西山阳，桑榆汗漫漳河曲。
城郭为墟人代改，但见西园明月在。
邺旁高家多贵臣，蛾眉曼睩共灰尘。
试上铜台歌舞处，惟有秋风愁杀人。
唐诗在他的带领下，迎来了蓬勃的发展。
张说的文才，在唐朝宰相中，算是顶尖的，但是，他的脾气不行，非常暴躁，容易得罪人。
公元726年，李隆基打算重用河南尹崔隐甫，结果在张说的干涉下，只任命他为御史大夫。
这样一来，就把崔隐甫给得罪了。
张说对同僚经常当面驳斥，甚至呵斥谩骂。
御史中丞宇文融看他很不爽，当然，张说看他也不爽，于是，把宇文融所提出的建议，大多加以压制。
他这样得罪人，终于引得了崔隐甫、 宇文融和御史中丞李林甫一起联手，上书李隆基，弹劾张说勾引术士占星、徇私舞弊、收受贿赂。
李隆基便命源乾曜与崔隐甫、刑部尚书韦抗、大理少卿明珪等人一起在御史台审讯张说，结果罪状大多属实。
张说的哥哥左庶子张光，知道张说一完蛋的话，整个家族可就要遭殃，当下在朝堂上割掉耳朵，为张说鸣冤。
李隆基遂命高力士探视张说。
张说知道，此刻只有用凄苦来感动李隆基了，当下把头发弄散，满身污垢，用瓦片吃饭，真是惨得不能再惨
高力士见了，回来对李隆基道：“张说头发散乱，满脸污垢，坐在稻草垫子上，用瓦盆吃饭，惊慌恐惧地等候处分。”又述说张说对国家的功劳。
李隆基听了，起了怜悯之心，于是赦免张说，罢免他中书令之职。
张说经过这一事之后，开始收敛脾气，在集贤院专修国史，要求免去右丞相一职。
久经宦海，历尽磨难的张说，终于明白了一个道理：想善终，就必须功成身退
李隆基不许他退出政坛，在遇到军国大事时，仍旧派人去询问他的意见。
崔隐甫等人怕李隆基还会起复张说，对他百般诋毁。
李隆基终于承受不住诋毁，让张说致仕退休。
公元730年，张说患病，李隆基每天都派中使前去看望，并亲自为他书写药方。同年十二月，张说病逝，终年六十四岁。
他这个年龄，在唐朝来说，可谓善终。他之前以为想要善终，就得安排自己的人掌权，如今的他才知道，只有功成身退，才是善终的最好保障
李隆基光顺门为他举哀，亲自撰写神道碑文，追赠他为太师，赐谥文贞。
文贞二字，足以概括他这一生。
张说，三任宰弼，擅长文学，一生掌文学三十多年，既有文治之功，也颇有武略，可谓文武兼资。他明于政体，改革不合时宜的政治和军事制度。
故史家称赞他"发明典章，开元文物彬彬，说居力多"，为开元盛世立下赫赫功劳。
司马光评价他们这几名开元盛世的宰相：“姚崇尚通，宋璟尚法，张嘉贞尚吏，张说尚文，李元纮、杜暹尚俭，韩休、张九龄尚直，各其所长也。”
张说，能与姚宋并列，成为一代名相，不虚此生矣