李绅的病，又结宦官王守澄帮助自己。遇到唐敬宗即位，李逢吉看到李绅失去了依靠可以算计，让王守澄乘便上奏说：“故世皇帝当初讨论立太时，杜元颖、李绅劝立王为太，只有宰相李逢吉请求立皇上，李续、李虞赞成他。”李逢吉也乘机说李绅曾不利于皇帝的事，请求把他赶京城。皇帝刚登基，不能辨别，就贬李绅任端州司。刘栖楚等人因他得到好地方，都恨得咬牙切齿。贬官诏书颁下，群臣向李逢吉贺，只有右拾遗吴思没去。李逢吉排斥吴思，派他到吐蕃去报丧。这时人们没有敢说话的，只有韦厚多次说李绅冤枉，驳斥李逢吉的诡计。后来皇帝在中找到去世皇帝亲手装的一箱奏章，打开后，看到裴度、杜元颖、李绅多次上奏请求立他为太，皇帝才非常动地醒悟了，把李逢吉一伙呈上的诽谤奏章都烧了。

起初，李绅贬去南方，走到封州、康州，那里有座媪龙祠，过去传说能呼风唤雨，李绅写文章祷告，不久河猛涨。宝历年大赦令没提才被贬官的可移近任职，韦厚持争取，皇帝追回诏书更改后，李绅得以调任江州长史，后升任滁、寿两州刺史。霍山老虎多，采茶的害怕老虎，挖陷坑、召人追踪猎，都不能制服。李绅去了，把这些都撤除了，老虎也不伤人了。后来他任太宾客分洛分署。大和年间，李德裕掌权，提升他任浙东观察使。后李宗闵受皇帝信，又命他任太宾客分洛分署。开成初年，郑覃任命他为河南府尹。河南府有很多小无赖，有时着帽敞着衣裳，打大球，拦住大路，车辆匹不敢通过。

李绅治理决严厉，他们都吓跑了。后升任宣武节度使。那年天大旱，蝗虫不到他的辖境去。

唐武宗登基，他调任淮南，后召朝廷任中书侍郎、同中书门下平章事，又升任尚书右仆、门下侍郎，被封为赵郡公爵。任职四年后，因脚无力不能上朝，辞去职位，以检校右仆、同中书门下平章事份，再任淮南节度使。后去世了，赠官太尉，赐谥号叫文肃。

此前，澧州人吴汝纳是韶州刺史吴武陵哥哥的儿。吴武陵因贪赃被贬为潘州司参军去世了，吴汝纳家被放，长期没有调回，当时李吉甫任宰相，吴汝纳恨他，后来就参加了李宗闵集团。会昌年间，他担任永宁县尉，弟弟吴湘任江都县尉。辖区人告吴湘受赂不法，自己娶百姓颜悦的女儿。李绅派观察判官魏钅刑审讯吴湘，罪状清楚，上报决了他。

当时，有议论的人说吴家世代和宰相有仇，怀疑李绅取悦宰相，罗织判他的罪。

谏官多次上奏，有诏派御史崔元藻复查，崔元藻说吴湘挪用官府钱粮有证据，娶辖区民女不真实，说颜悦曾任青州衙推，他妻王氏是官宦人家的女儿，不应判罪。李德裕讨厌崔元藻两边讨好，上奏贬他为崖州司参军。唐宣宗登基，李德裕被免职，李绅已经去世了。崔铉等人长期没能掌权，引诱吴汝纳，叫他为吴湘申冤说“：吴湘生平梗直，被人诬告，关监狱，受重刑，官吏们甚至将他娶妻时陪嫁的财产和仆算成是赃。”又说“：颜悦过去是官宦人家，吴湘的罪都不该死，李绅冤枉杀死了他。”还说：“吴湘死了，李绅命上埋掉，不让回家乡安葬。李绅以故宰相份镇守一片地方，任意权耍威风。一般真有罪，还要等秋分后；吴湘没有罪，盛夏被死了。”