以后，天下诏说：　“右将军光禄勋安世辅政宿卫，肃敬不怠，十三年以来，平安无事。亲近亲人任用贤士，是尧、舜治国之。封安世为富平侯。”

第二年，昭帝驾崩，未葬，大将军霍光告诉太后，调任安世为车骑将军，一同征立昌邑王。王行，霍光又与安世策划废王，尊立宣帝。宣帝初立，褒奖大臣，下韶说：“奖有德，赏有功，是古今的通义。车骑将军光禄勋富平侯安世，宿卫忠正，宣扬皇帝恩德，勤劳国事，恪守本职，遵守义，维护宗庙，加封一万零六百，功劳次于大将军霍光。”安世之千秋、延寿、彭祖，都是中郎将侍中。

大将军霍光去世后数月，御史大夫魏相L密封奏书说：“圣王奖有德以招徕四方，显扬有功以劝导百官，因此朝廷得以尊荣，天下归服。国家承继祖宗之业，掌握诸侯的存亡，新失大将军，应宣扬圣德以昭示天下，表彰功臣以镇抚藩国。不要空悬大位，以免争权，这是安定社稷杜绝政争于未萌。车骑将军安世侍奉孝武帝三十余年，忠信谨慎，勤劳政事，日夜不怠，与大将军共定策，天下受其福，是国家的重臣，应尊其位，任为大将军，不要兼光禄勋事，使其专一神，忧念天下，思考得失。安世之延寿稳重厚，可以任光禄勋，兼领宿卫职务。”皇上也想用安世父。安世听说，惧不敢当，空求见，摘冠叩说：　“老臣妄自听说，事未执行而事先来说，我不先说明情况就不好办，实在是自量不足以居重要官位，继大将军后。希望天裁定，以保全老臣命。”皇上笑着说：“君言过谦。君要是不可以，还有谁可以！”安世辞而皇上不答应。数日后，还是拜为大司车骑将军，兼领尚书事。数月，罢车骑将军屯兵，改为卫将军，两卫尉，城门、北军兵隶属安世。

当时霍光之霍禹为右将军，皇上也任霍禹为大司，撤去右将军屯兵，用官号虚尊加之，而实夺其兵权。一年多后，霍禹谋反，减宗族，安世一向小心畏忌，已很内忧。其孙女张敬为霍氏外亲族之妇，应当连坐被诛，安世瘦弱憔悴已形于。皇上很奇怪而怜惜，便问左右，于是赦免了张敬，以安其心。安世更加恐惧。掌国家政权，以谨慎周密著称，外内无漏。每定大政，已决定，立即称病移居，听到诏令，便吃惊，派人到丞相府询问。朝廷大臣不知安世参与预谋。

安世曾经推荐官员任职，其人来谢，安世很后悔，认为举贤达能，岂有私谢之理？便与此人断绝来往。有一郎官自言功不升职，安世说：“君之功，明主所知。人臣供职，哪裹能自言长短！”拒绝提升他。可是不久这个郎官却升迁。幕府长史调任他职，辞官时安世向他征求自己有何过失。长史说：“将军为明主肱，而士无升，人们都讽刺你。”安世说：“明主在上，贤与不肖分得清楚，臣们自修而已，怎么会了解士人而行推荐？”他想匿名迹远权势就是如此。

任光禄勋时，有郎醉酒小便于殿上，主事报告法理，安世说：“怎么知不是反浆造成的呢？怎么能拿小过来治罪！”郎官官婢，婢兄自己说，安世说：　“仆发怒，诬蠛士大夫。”让官署责备仆。他隐人过失，都是这类情况。

安世看到父尊贵显耀，心怀不安，替延寿请求外补官，皇上任为北地太守。一年多后，皇上可怜安世年老，又召延寿为左曹太仆。　当初，安世兄张贺得于卫太，太失败，宾客都被杀，安世为张贺上书，张贺被免死罪以刑。后任掖令，而宣帝以皇曾孙收养在掖。张贺伤太无罪，而曾孙孤幼，所以看养抚，恩情重。到曾孙长大，张贺教书，令受《诗》，为他娶了许妃，以自己家财为聘礼。曾孙多次有奇怪事情发生，事见《宣帝纪》。张贺听说，向安世讲明，称其才智。安世立即制止张贺，认为少主在位，不应称赞曾孙。到宣帝即位，而张贺已死去。皇上对安世说：“掖令平生称赞我，将军阻止，得对。”皇上追念张贺恩，想追封为恩德侯，设守冢二百家。张贺有一早死，无后，让安世少彭祖为张贺养。彭祖少时与皇上同席研读经书，打算封赏他，便先赐关内侯。安世持推辞封赏，又求减少守冢数，减至三十。皇上说：“我自己赏给掖令的，不是给将军的。”安世这才停止，不敢再说什么。皇上遂下韶说：　“应为前掖令张贺设守冢三十家。”皇上自己安置其居住地方，居住在冢西斗鶸翁舍南，皇上少年时曾经游玩之。第二年，又下韶说：“朕幼小时，故掖令张贺辅导朕，修研文学经术，恩惠卓异，其功重大厚。《诗》说：‘没有不回答的语言，没有不报答的恩德。’应封张贺弟侍中关内侯彭祖为都侯，赐张贺谧号都哀侯。”当时张贺有孤孙张霸，年七岁，拜为散骑中郎将，赐爵关内侯，邑三百。安世因为父封侯，在位显赫，便辞去俸禄。皇上便下诏都内府库另外收藏张氏无名钱以百万数。