知了这件事，文帝摘下帽陪罪说：“怪我教导儿不严。”薄太后也派使臣带着她的赦免太梁王罪过的诏书前来，太、梁王才能够中。文帝由此更加看了张释之的与众不同，任命他了中大夫。

又过了些时候，张释之升任中郎将。跟随皇帝到了霸陵，汉文帝站在霸陵的北面眺望。这时慎夫人也跟随前行，皇帝用手指示着通往新丰的路给她看，并说：“这是通往邯郸的路啊。”接着，让慎夫人弹瑟，汉文帝自己合着瑟的曲调而唱，心里很凄惨悲伤，回过来对着群臣说：“唉！用北山的石椁，用切碎的苧麻丝絮充石椁隙，再用漆粘涂在上面，哪还能打得开呢？”在边的近侍都说：“对的。”张释之走上前去说：“假若里面有了引发人们贪的东西，即使封铸南山棺椁，也还会有隙；假若里面没有引发人们贪的东西，即使没有石椁，又哪里用得着忧虑呢！”文帝称赞他说得好。后来任命他了廷尉。

此后不久，皇帝巡经过长安城北的中渭桥，有一个人突然从桥下跑了来，皇帝车驾的受了惊。于是命令骑士捉住这个人，给了廷尉张释之。张释之审讯那个人。那人说：“我是长安县的乡下人，听到了清禁止人通行的命令，就躲在桥下。过了好久，以为皇帝的队伍已经过去了，就从桥下来，一下看见了皇帝的车队，上就跑起来。”然后廷尉向皇帝报告那个人应得的罚，说他犯了清的禁令，应以罚金。文帝发怒说：“这个人惊了我的，我的幸亏驯良温和，假如是别的，说不定就摔伤了我，可是廷尉才判他罚金！”张释之说：“法律是天和天下人应该共同遵守的。现在法律就这样规定，却要再加重罚，这样法律就不能取信于民。而在那时，皇上您让人立刻杀了他也就罢了。现在既然把这个人给廷尉，廷尉是天下公正执法的带人，稍一偏失，而天下执法者都会任意或轻或重，老百姓岂不会手足无措？愿陛下明察。”许久，皇帝才说：“廷尉的判是正确的。”

后来，有人偷了祖庙神座前的玉环，被抓到了，文帝发怒，给廷尉治罪。张释之法律所规定偷盗宗庙服饰之罪奏报皇帝，判死刑。皇帝然大怒说：“这人胡作非为无法无天，竟偷盗先帝庙中的，我给廷尉审理的目的，想要给他灭族的惩，而你却一味照法律条文把惩意见报告我，这不是我恭敬奉承宗庙的本意啊。”张释之脱帽叩谢罪说：“依照法律这样罚已经足够了。况且在罪名相同时，也要区别犯罪程度的轻重不同。现在他偷盗祖庙的就要以灭族之罪，万一有愚蠢的人挖长陵一捧土，陛下用什么刑罚惩他呢？”过了一些时候，文帝和薄太后谈论了这件事，才同意了廷尉的判决。当时，中尉条侯周亚夫与梁国国相山都侯王恬开看到了张释之执法论事公正，就和他结为亲密的朋友。张释之由此得到天下人的称赞。

后来，文帝死去，景帝即位。张释之内心恐惧，假称生病。想要辞职离去，又担心随之招致被诛杀；要当面向景帝谢罪，又不知怎么办好。用了王生的计策，终于见到景帝歉谢罪，景帝没有责怪他。

王生是喜好黄老学说的士。曾被召朝廷中，三公九卿全齐聚站在那里，王生是个老年人，说：“我的袜带松脱了。”回过来对张廷尉说：“给我结好袜带！”张释之就跪下结好袜带。事后，有人问王生说：“为什么在朝廷上羞辱张廷尉，让他跪着结袜带？”王生说：“我年老，又地位卑下。自己料想最终不能给张廷尉什么好。张廷尉是天下名臣，我故意羞辱张廷尉，让他跪下结袜带，想用这办法加他的名望。”各位大臣们听说后，都称赞王生的贤德而且敬重张廷尉。

张廷尉侍奉景帝一年多，被贬谪为淮南王相，这还是由于以前得罪景帝的缘故。过了一些时候，张释之死了。他的儿叫张挚，字长公，官职一直到大夫，后被免职。因为他不能迎合当时的权贵显要，所以直到死也没有再官。