力，先归附的可以受大赏。”昌豨于是答应投降。张辽单人登上三公山，昌豨的家，向他的妻致礼。昌豨非常兴，跟随他去见曹。曹让昌豨先回去，责备张辽说：“这不是大将应该的。”张辽谢罪说：“凭着明公达于四海的威信，我拿着圣旨，昌豨必然不敢害我，所以我才敢去。”后来，张辽跟随曹在黎征剿袁谭、袁尚，再次立功，代理中将军的职务。又随曹在邺县攻击袁尚，袁尚据城顽抗，一时不能攻破，曹回许昌，命令张辽同乐取安，把当地人迁移到黄河以南。

尔后张辽再次跟随曹攻打邺县，邺县被攻破。张辽单独被派往赵国、常山招降沿山各路贼寇以及黑山的孙轻等人。

此后再度随曹攻击袁谭，打败了袁谭，曹另外又派张辽率军夺取海滨，击溃了辽东的贼寇柳毅等。他回到邺县，曹亲自来迎他，拉着他同乘一辆车，任命他为寇将军。以后他又领兵攻打荆州，平定了江夏各县。回军屯扎在临颍，被封为都亭侯。后来张辽又一次随曹征伐袁尚，在柳城突然遭遇匈，张辽劝曹同匈作战，意气非常振奋，曹被他的胆魄所染，把自己手拿的麾旗给了他。于是张辽击，大败匈，杀死了单于蹋顿。当时荆州还没有平定，曹又派张辽屯驻长社。临发的时候，队中有谋反的，乘夜间放火呼叫，全军都被扰。张辽对左右的卫士说：“不要动。绝不是全营都造**了，一定是制造叛的人，借此煽动扰全军。”于是传令军中，不想造**的都安静地坐下，张辽亲自带着几十个亲兵，在军营正中列队站立。不一会全营都安定下来，便抓到了带谋反的，死了他们。陈兰、梅成煽动六安县的氐族人叛变，曹派于禁、臧霸等领兵征讨梅成，命张辽督率张郃、盖等人征讨陈兰。梅成佯装投降于禁，等于禁撤军以后，梅成就同陈兰会兵一，转飅山。飅山中有天峰，峻陡峭，方圆二十多里，山狭窄嵯峨，宽度仅容一人通过，陈兰等在上面筑起营垒。张辽想要军，众将都说：“兵少路险，难以。”张辽说：“这正是秋时齐国的申鲜虞所说的‘一与一’的形势，谁勇敢谁就能占到先机。”便到山下安营，发起攻击，将陈兰、梅成斩首，全俘虏了贼众。曹为众将评功说：“登天峰，亲涉险境，战胜陈兰、梅成是寇将军的功绩。”为张辽增加了邑，允许他持节巡行。

曹征讨孙权回朝后，命张辽与乐、李典等率领七千多人去合屯驻。曹征张鲁，临行与护军薛悌一份手令，在函边上注明“敌人到了再打开”不久，孙权带领十万兵包围了合，于是各位将军一起打开手令，上面告谕：“如果孙权兵来，张辽、李典二位将军战，乐守城，护军薛悌不得参战。”众将都疑惑不解。张辽说：“主公在外远征，等救兵赶到，敌人必定已经把我们打败了，所以命令我们趁敌人尚未集中的时候立刻迎击，挫伤他们的气势，来安定军心，以后就可以防守了。胜负的机会，就在这一战，大家有什么怀疑的呢？”李典也赞成张辽的意见。于是张辽连夜召募敢死的士兵，得到八百人。杀犊犒劳将士，决定明日大战。天一亮，张辽披甲持戟，率先攻敌阵，连杀几十名敌兵，斩杀了两名敌将，大声喊着自己的姓名，冲敌军营垒，直到孙权的旗帜之下。孙权大惊，手下不知所措，逃上山，用长戟护住自己。张辽喝叱孙权来接战，孙权不敢动。望见张辽带领的兵士少，孙权的下渐渐聚拢，把张辽层层包围起来。张辽左右突围，奋勇向前，冲开缺，下几十人随着冲。余下的士兵声号叫：“将军要抛弃我们吗？”张辽返再次突破重围，救余下的士兵，孙权的人望风披靡，没有敢阻挡他的。从清晨战到中午，吴兵的士气完全丧失了，退回去修筑防御工事。大家的心情才安定下来，众位将军都很钦佩张辽。孙权包围合十多天，看到不可能攻破，便领兵撤退了。张辽率领各路人追击，几乎再次捉住孙权。曹为张辽的勇武而动，封他为征东将军。

建安二十一年(216)，曹再次征伐孙权，到合，沿着张辽当时作战的遗迹走了一趟，慨叹息了很久。于是给张辽增兵，多留诸军，张辽转移到居巢屯驻。关羽在樊城包围曹仁，正赶上孙权称王。曹召集张辽以及各路军一律回兵救援曹仁。张辽尚未赶到，徐晃已打败关羽，曹仁的围困被解除。张辽与曹在陂会合，张辽的队到达的时候，曹乘车来问他，张辽回军屯驻陈郡。文帝即王位以后，张辽任前将军，他的哥哥张泛和他的一个儿被分封为列侯。孙权再次背叛，文帝派张辽仍到合驻扎，晋封他都乡侯的爵位。赐与张辽的母亲舆车，派兵护送张辽的家眷到驻地，命令张母到达的时候，前导后从地迎接，下各军的将吏都要在边罗列下拜。大家都认为张辽一家十分荣耀。曹丕作了皇帝以后，封张辽为晋侯，增加一千的邑，连同以前的共二千六百。

黄初二年(221)，张辽到洛朝拜，文帝在建始殿会见张辽，亲自问他打败吴国的情况。文帝听了以后，叹息着对左右说：“张辽也是周代召虎那样的人。”文帝为他建造了宅第，又专门为他母亲盖了殿，把张辽召募的跟随他打败吴国的士都称作“虎贲”孙权再次称藩国，张辽又回军屯驻雍丘，得了疾病。文帝派侍中刘晔带着太医前来诊治。那些虎贲勇士询问病情，一路上不断。病没有痊愈，文帝把他接到自己的行营，乘车亲自来探视，握着他的手，赐给他御衣，太官每天来送御膳。病势稍有好转，张辽又回到屯兵的地方。孙权再次反叛，文帝派张辽乘船，同曹休到海陵县，面临大江。孙权十分害怕，告谕众将：“张辽虽然生了病，还是勇不可挡，你们可要小心啊！”那一年，张辽同各位将军打败了孙权的大将吕范。张辽病重，死于江都县。文帝痛哭涕，赠他刚侯的谥号。他的儿张虎承袭了爵位。

黄初六年(225)，文帝追怀张辽、李典在合的战功，下诏说：“合的战役，张辽、李典凭着八百步兵，打败了十万敌军，自古以来用兵，没有这样的战例。使敌人至今威风扫地，可以称作国家的爪牙了。分赐给张辽、李典邑各一百，赐他们每人一关内侯的爵位。”张虎任偏将军，死后，他的儿张统承袭。