年轻时从军，在军伍之中，才力众。事奉幽州节度使薛楚玉、张守王圭、安禄山等，多次受命征，积累军功升至折冲郎将、将军同正、平卢军先锋使。

及至安禄山叛，李忠臣与同僚们密谋，杀死伪节度使吕知诲，拥立刘正臣为节度使，任李忠臣为兵使。攻长杨、战独山，袭榆关、北平，杀死贼将申贡、荣先钦，擒获周钊押送到京师，其间李忠臣功劳最大。又跟随刘正臣攻破渔，叛将李归仁、李咸、白秀芝等前来抵抗，约经数十合战斗，将他们全都击败。不久，潼关失守，郭仪、李光弼退兵，李忠臣便领兵北归。奚王阿笃孤起初将队与刘正臣合并，后来诈称请求率领万余骑兵共同收复范，到后城南面，半夜反攻官军，李忠臣同他战，于是到了温泉山，击败贼军，生擒其大首领阿布离，将他斩首祭旗衅鼓。刘正臣去世，李忠臣又与大家商议，拥立安东都护王玄志为节度使。

至德二年(757)正月，王玄志命李忠臣率领三千步卒从雍乘苇筏渡海，贼将石帝、乌承洽来抵拒，李忠臣和董竭忠击退了贼军，转战数日，收复鲁城、河间、景城等地，获得大批资粮，运送到本军。又与大将田神功一起率兵讨伐平原、乐安郡贼军，攻下两地，生擒伪刺史臧瑜等人，防河招讨使李铣遵照旧制任命李忠臣为德州刺史。时值史思明归顺朝廷，河南节度使张镐命李忠臣率兵赴郓州，与诸军使共同收复河南州县。李忠臣又与副将惠元一同在舒舍大败贼将王福德，肃宗屡次下诏问，并命令李忠臣镇守濮州，不久移镇韦城。

乾元元年(758)九月，改任光禄卿同正。当年，与郭仪等九节度使在相州围攻安庆绪。次年二月，各军溃败而回，李忠臣也退了兵。行至荥，贼将敬钅工前来偷袭官船，李忠臣将他打得大败，缴获米粮二百多船，用以资助汴州军士。不久官拜濮州刺史、缘河守捉使，镇署迁移至杏园渡。及至史思明攻陷汴州，节度使许叔冀和李忠臣皆因兵力耗尽而投降贼军，史思明抚摸着李忠臣的背说：“我原先好比只有左手，如今得到你，兼有右手了。”与李忠臣一起犯河。数日后，李忠臣夜间率领五百人袭击史思明营垒，突围而归，李光弼将此事禀奏皇上，诏令加授李忠臣开府仪同三司、殿中监同正，赐实封邑二百。皇上召李忠臣至京师，易姓李，名忠臣，封为陇西郡公，赏赐良、庄宅、银、彩帛等。

当时陕西、神策两军节度使郭英。。、卫伯玉镇守陕州，朝廷命李忠臣为两军节度兵使。鱼朝恩也在陕州，命李忠臣与贼将李归仁、李义等在永宁、莎栅战，前后数十仗，李忠臣都击败了敌人。适逢淮西节度使王仲升被贼军擒获，宝应元年(762)七月，授李忠臣太常卿同正、兼御史中丞、淮西十一州节度使；随后又加授安州刺史，仍镇守蔡州。那年，命李忠臣会同各军元帅收复东都。宝应二年(763)六月，就地加授御史大夫。当时回纥可汗回归本国，留下判官安恪、石帝在河守护他的财，安恪、石帝趁机招聚亡命之徒为盗寇，路阻隔，诏令李忠臣征讨平定他们。

永泰元年(765)，吐蕃犯西边境，京师戒严，代宗命宦官兵勤王，各大多不能及时奔赴国难，使臣到淮西时，李忠臣正在玩蹴鞠的游戏，立即下令调集军队前去救驾。监军大将执意请求：“军队征必要选择吉日。”李忠臣扬起手臂对兵士们说：“哪有父母遇到盗打劫，还要等待挑选好日才去救祸呢？”当天就发。从此，什么地方有了警报，李忠臣必定先期到达。因此代宗极嘉许他的忠贞，加授本观察使，赏赐颇丰厚。及至同华节度使周智光起兵造反，诏令李忠臣与神策军将领李太清等人讨平息了他。大历三年(768)，加授李忠臣检校工尚书，实封邑连先前一共三百。大历五年，又加授蔡州刺史。大历七年，授检校右仆、知中书省事。李灵曜叛时，田承嗣派侄儿田悦去援助他，李忠臣与诸军大败田悦等人，汴州平定。大历十一年(776)十二月，加授检校司空、平章事、汴州刺史。

李忠臣情贪婪残忍好，下将吏的妻女大多被他诱骗胁迫而私通。加上军队无纲纪，所到之纵容施暴，人们不堪忍受。又任妹夫张惠光为衙将，仗势行凶肆，军中人恨他，屡次对李忠臣诉说，李忠臣不相信他们。不久让张惠光担任节度副使，命张惠光之为衙将，其凌残暴超过他的父亲。李忠臣所信任的大将李希烈，素来善于骑箭，为人们所拜服，借着众的怒气，于大历十四年(779)三月，与年轻将领丁曰、贾华，监军判官蒋知璋等人举兵斩杀张惠光父，并胁迫李忠臣走。李忠臣单骑赴京师，当时朝廷正优武臣，没有责备他，依旧任他为检校司空、平章事，留在京师参加朝见。

建中初年，曾因事奏对，德宗对他说：“卿之耳甚大，真是贵人相啊。”李忠臣答：“臣听说驴耳甚大，龙耳甚小，臣耳虽大，也是驴耳呀。”皇上听了很兴。此时常侍张涉蒙恩执政，因受贿之事败，皇上将绳之以法。张涉本为皇上太时的侍讲学士，李忠臣上奏：“陛下贵为天，而老师因缺钱犯法律，以愚臣之见，这不是老师的过错。”皇上怒气消解，只命他回归乡里。前湖南观察使辛京杲曾因动怒杖杀下，有关官署弹劾奏报辛京杲杀人应当死，皇上允从。李忠臣上奏：“辛京杲早就该死了。”皇上询问原由，李忠臣回答：“他的伯父叔父某某在某战死，兄弟某某在某战死，他曾随从征，惟独不死，因此知他早就该死了。”皇上也怜悯之意，不下令加以罪罚，只将辛京杲改授王傅了事。