不久安禄山攻破潼关，玄宗和肃宗分走，李曾经偷偷地作诗，有匡复国家的意思。虢王李是河洛节度使，他派人在嵩山少室找到李，赶上唐肃宗的手札送到，虢王备车把李送到灵武。唐肃宗把李迎到卧室内，向他询问行止动静，和他共同商讨大计。于是收复了两都。李与皇上，睡觉则床对床，门则并着。

代宗时，封李为广平王，任天下兵元帅，并且授给他侍谋军国天下兵元帅府行军长史的衔，让他决定军事，仍然把他安置在中。崔圆、房琯从蜀地回来，传达玄宗旨意册立肃宗当皇帝，玄宗并把手诏、衣服、、枕、被等东西赐给李。

李确实立了大功，但觉察到臣李辅国忌妒他的才能，觉得将要对己不利，就上表请求到衡山游历。皇上优先下诏批准了，给他三品官的俸禄。他在山里居住了好几年。一天夜里，他被贼寇加害，把他扔到谷中。等到天亮，他就攀援别的路径走来了。他被枯叶垫着，没受一伤。

当初，肃宗在灵武的时候，曾经担忧李郭等将军们，他们都已经是三公宰相，已经尊崇敬重到了极，担心收复失地之后再没有什么官可以给奖赏他们了。李回答说：“以前的朝代，用封爵来表扬有功的人，用封官来任用有能的人。从尧舜到夏商周三代，都是这样的。如果收复失地，可以赏给他们土地，也不过二三百的一个小州，难这还不能控制吗？”肃宗说：“很好。”于是李说：“至于我所希望的，就和别人不一样。”肃宗说：“为什么呢？”李说：“我不吃粮没有家，对禄位和土地都没有望。我为陛下运筹帷幄，收复京城以后，只要能枕在天的膝上睡一觉，让钦天监来奏报客星侵犯帝座，能动一动天上星宿就满足了。”肃宗大笑。

等到皇帝向南扶风，每次停顿，皇帝一定让李率领队先发。由李清理行，收拾键钥匙，奏报之后，肃宗才到。走到保定郡，李稍有懈怠，事先在院里睡着了，肃宗来到，走院，不让人惊动李。皇帝上床，把李的捧到自己膝上。好长时间李才醒。

皇上说：“天的膝你已经枕了，攻克敌营收复失地的日在什么时候？可以缩短时间酬报我。”李急忙起来谢恩。肃宗把着他，不让他起来。于是李回答说：“这次行动，在我看来，凭借着九庙的神灵，乘着陛下的威严，应该象这个郡的名称，一定是保定了。”

到达扶风之后，十天之中，西域河陇的军队都会齐了，在江淮一带征调的人品也都送到了，肃宗很兴。

另外，肃宗曾经在一个夜晚，叫来颖王等三个弟弟，一同在地炉地毯上。因为李经常不吃粮，肃宗常常亲自烧两个梨送给他。当时颖王依仗皇上对他好，要要那梨，肃宗不给，说：“你吃了一肚，李先生不吃粮，为什么争这东西？”颖王说：“我们试一试皇上的心，为什么偏向他？不然，我们三个共要一个梨也行。”肃宗也不答应，另外让人拿来别的果品送给他们。三个弟弟又说：“我们因为那梨是皇上亲自烧的所以才要，别的果品有什么用？”接着又说：“李先生受到如此恩，请允许我们联句，作为以后的故事。”

颖王说：　“先生年几许，颜似童儿。”

其次信王说：“夜抱九仙骨，朝披一品衣。”

再次益王说：“不千钟粟，唯餐两颗梨。”然后三个王请皇上完成此诗。

肃宗便说：　“天生此间气，助我化无为。”