庆又擢升守本官平章事。不久，遇夏州守将杨惠琳阻挠朝命，宰臣等上奏议论，多主张动兵。郑余庆又据古代经义上奏说，夏州军士皆仰赖圣上养育，又有“介万蹄”之语。舆论认为郑余庆虽博雅好古但不合时宜。有主书涣，长期主中书省文书档案，与宦官典枢密刘光琦私情颇好。宰相议事，凡与刘光琦意见不同的，只要让涣转达意思，没有不能达到目的的。宰相杜佑、郑纟因都姑息他，人们谈论说杜佑私下称呼涣为八，四方书信财礼，聚集到涣门下，其弟泳官至刺史。及至郑余庆再中书省，与同僚会集议事，涣指着郑余庆陈说是非，郑余庆恼怒他僭越份，叱责他。不久郑余庆即被罢相，贬为太宾客。那年八月，涣贪赃之罪被揭发，赐死。皇上逐渐听说郑余庆叱责涣之事，很敬重他，便改授他国祭酒。不久拜河南尹。元和三年(808)，任检校兵尚书，兼东都留守。元和六年(811)，正式拜兵尚书。

郑余庆两度为相，被罢免均非因有大过，尤以清廉节俭为时人所称。至于朝内外勤勉司职，更是德望重，评议朝政得失，其言成为准则。当时，京兆尹元义方、侍郎判度支卢坦，都因授勋官之前职位至三品，据律令应立门戟，所以各自申请立门戟于宅第。此时元义方正以加授上国、卢坦正以先前任宣州观察使请立门戟。近代立戟之臣，都有银印青绶之官阶，而元义方只凭勋官名号，主官署不详加复查即予批准，人们议论都认为不对。恰值郑余庆从东都来，发议论认为绝不可以。于是，台司发下文书责问礼，左司郎中陆则、礼员外郎崔备皆罚俸，撤除元、卢的门戟。

郑余庆奉诏撰写《惠昭太哀册》，文辞甚巧。有医工崔环，从淮南小将升为黄州司。敕令下至尚书省，郑余庆扣下封还，认为诸散将无故授以正员五品官，是开侥幸之路，而且并无缺职可供。言辞有些过分，因此犯当权者，改派为太少傅，兼判太常卿事。当初德宗自山南还，畿辅边关有李怀光、吐蕃叛之忧，京都惶恐，于是诏令太常寺集乐取消大鼓。至此，郑余庆才奏请复用大鼓。

元和九年(814)，郑余庆官拜检校右仆，兼兴元尹，充任山南西节度观察使，三年均受代理官职。元和十二年(817)，授太少师。不久以年已七旬请求退休，诏令不许。当时屡屡有仰赖皇上恩赦授予官阶的事，及至天亲临郊庙谒拜，行事官员等皆得倚圣恩授三品五品，不再行考，那些使府的幕僚属吏，又十有八九靠了军功借机赐命服而后朝拜官。因此，在朝官员著绿衣者很少，郎官谏官也有著紫服垂金鱼袋的。又丞、郎朝谢恩及郎官使，朝廷多半赐予章服，以示加恩，于是显示恩之章服满朝皆见，一时不以著章服为尊贵，便诏令郑余庆详拟条令订立制度，逐条奏报。

元和十三年(818)，拜尚书左仆。自兴兵以来，于皇上左右谋划策之位者多不称职，及至郑余庆以名臣之风范执政，民情趋于善和睦。宪宗因郑余庆谙熟典章，朝廷礼乐制度有不合先例的，全权付郑余庆参酌施行，于是任用他为详定使。郑余庆又奏请刑侍郎韩愈、礼侍郎李程为副使，左司郎中崔郾、吏郎中陈。。、刑员外郎杨嗣复、礼员外郎庾敬休一同充任详定判官。朝廷仪制、吉凶五礼，都有所增减。后郑余庆改任凤翔尹、凤翔陇节度使。

元和十四年(819)，兼太少师、检校司空，封荥郡公，兼判国祭酒事。因太学荒毁日久，生员欠缺，郑余庆奏请用文官俸禄修缮两京国监。

及至穆宗登极，凭着师傅的旧情，擢升检校司徒，礼遇甚优。元和十五年(820)十一月去世，诏令说：“故金紫光禄大夫、检校司徒、兼太少师、上国、荥郡开国公、邑二千郑余庆，始以衣冠礼乐之识，闻名于山东，尽力习作文章，终成矢志之学。朝朝清廉近人，资历长达五十年。两度执掌大政，屡次分担军务。凡所任职，无不竭力尽心。贵而能以贫贱之，卑以自不息。正直坦率享誉于朝廷，柔顺和睦脱化于闺门。受命有颍考父之恭谨，待士如公孙弘之宽宏。焚书逸礼，皆可传；古史旧章，如匠心。朕赖禀奏咨问，绝无昏聩逾礼。神将断我贤臣，朕心无比伤痛。既已不能聆听其言，助丧之赐宜优，可赠太保官职。”时年七十五，谥号为“贞”