巡幸陕州，敌寇攻陷京城，府库被抢劫一空。到代宗到达行都时，太常博士柳伉上书直言极谏应当杀程元振以谢天下之人。代宗担忧人心归罪，便罢免了元振的官职，将他放逐归田，他的家乡在三原县(今属陕西)。

十二月，代宗车驾回到京城，程元振披麻孝地坐在车里，混京城，以谋划再度任职用。他与御史大夫王升一块饮酒，被御史台所弹劾。所颁诏书写：

“杂地站在一起聚众谈，法令尚且不容许，狼狈为秘密计谋，比相互谈罚更应从重，如此所作所为，情形实难原谅。程元振情凶残暴戾，秉赋庸俗愚蠢，渺小之人，虽万死不足以责。近来本已对严厉的刑法有所放宽，念他有过功劳，枉法以表示恩顾，将他放逐归田。却仍不知约束自己的言行、私，还不知自己的过错，既忘了恩顾的仁厚，又另怀非分的冀望。竟敢召集众人，还想有所动作。不听令的臣一窥伺时机，妄谈善恶吉凶，仍然心怀不满。捆绑包裹起兵铠甲，换了衣服暗中行动，毫不顾及君臣之亲，准备图谋不轨。经审查检验都是如此，无法逃脱刑罚，首足异门而，也不能责。然朕仍不能忘他的微劳，再次饶恕罪人。特免除砍的刑罚，把他放到荒远的地方以正法典。可长期放溱州为百姓，委托京兆府派人押送递解，所路过的各州县，派人接应援助，一直押抵目的地，不许跑，即使有不同寻常的大赦，他也不在集中恩赦之列。一切官吏百姓应察朕的心意。”

鱼朝恩，天宝末年以宦官份内侍省，始为有品级之官，供职黄门。生聪慧，善于宣旨应对，通晓文字筹算。至德年间，常令其监督军事。九节度于相州讨伐安庆绪，大军不置统帅，以朝恩为观军容宣置使。观军容使官名，即从朝恩开始。因功加授左监门卫大将军。当时郭仪频立大功，当代无人可比，朝恩妒其功，屡次秘密侦探寻衅。仪悉心侍奉皇上，毫不介意。幸肃宗英明颖悟，特别明察其心意，故朝恩的离间未能得逞。自从相州战败后，史思明再度攻陷河洛地区，朝恩常统领禁军镇守陕州，以殿卫中原。广德元年(763)，吐蕃侵京辅地区，代宗巡陕州。当时禁军溃散不集，于是征召离散之众，待到华，朝恩大军遽然前来迎接侍奉，六军士气方振。从此代宗为信，更号天下观军容宣置使。当时四方不宁，万事繁，皇上留意有功之臣，朝恩掌神策军，禁中，赏赐无法计算。

朝恩生平庸顽劣，依仗功勋自夸，肆无忌惮。时常招揽迂腐儒生及轻薄文士至其门下，讲授经书史籍，写作文章，能提笔解说其意，就在朝中官吏间说大话，自以为有文武才，以此博取皇帝恩。皇上优礼相待，加官兼任国监事，及光禄、鸿胪、礼宾、内飞龙、闲厩等使。赴国监任职，皇帝特诏宰相、百官、六军将军送其升任，京兆府准备饮，教坊赏赐舞乐。大臣群官二百多人，皆着原职礼服充当附学生员，列队立于国监廊下，待诏给予万贯钱饮之本，用以准备附学生员的伙。朝恩专横跋扈，索取无厌，凡有章奏，期在必允，幸大臣中无人可比。

大历二年(767)，朝恩献通化门外旧赐庄舍建寺庙，以替章敬太后祷祝冥福，于是请求以章敬为寺名，然后动工兴建，穷极壮丽。因京城中原料木材不足所需，便奏请拆毁曲江亭馆、华清楼观以及百官行署、将相没收官之宅第以供其用，土木工程所费，几逾万亿。大历三年(768)，攘兼国监事，晋爵韩国公。章敬太后忌日，百官在兴唐寺礼佛行香，朝恩在寺外车坊中摆设斋饭，请宰相百官就。朝恩恣意谈论时政，公卿大臣皆极惊恐。郎中相里造、殿中侍御史李絗以正理驳斥之，朝恩不快，便草草散会。

后曾在国监祭祀先师，宰相百官皆会聚一堂，朝恩讲解《易经》，以阐释鼎卦“覆饣束”之意，讥讽元载，元载心怀怨恨，暗中谋划除掉他。代宗因朝恩太专横，也极憎恶。元载想窥便利之机，巧妙伤害他，便任心腹崔昭为京兆府尹，窥察朝恩行踪。崔昭不吝惜财，暗中与朝恩党羽陕州观察使皇甫温相结，温与昭和睦相协，从此朝恩一举一动，元载都知，事无细均告知皇上。皇上更加愤怒，朝恩却未觉察，日益骄横。元载奏请增加朝恩租封，又提皇甫温之权势地位，以放纵其私。

大历五年(770)，朝恩所亲近的武将刘希暹稍有过失忤逆，皇上婉言论及，诏免朝恩观军容使，增加租封至一千，朝恩开始疑心，然而每次朝拜谒见，恩一如往常，也就不把元载放在心上。适逢寒节代宗大宴近臣，朝恩谒见。在此之前，每次宴毕，其必回营，这天却有诏留之。朝恩开始害怕，语颇违逆傲慢，代宗仍因旧日恩情不予责备。这天朝恩回到私宅，自缢亡。刘希暹也被下狱赐死。