直到互相殴斗砍杀，造成伤残甚至死亡。夜晚敞开府门，到别人家里公然些猥勾当。黎民百姓怨恨，都是满腔愤怒。凭着这状况守城，怎么能够守住！”李元吉终于获罪免职。他又婉转地动员当地德望重的老人京为他求情，不久恢复了官职。

当时刘武周率领五千名骑兵到了黄蛇岭，李元吉派遣车骑将军张达带领一百名步兵先去试探。张达嫌人太少，决要求不去。李元吉行派遣，一到黄蛇岭就被杀光。张达愤恨恼怒，就为刘武周当向导攻克了榆次县城，并州。李元吉十分恐慌，欺骗他的司刘德威说“：您带着年老弱的人员守城，我带上力壮的将士城作战。”乘着夜晚队城的时机，他带上妻妾丢下军队逃回了长安，并州很快失陷。祖怒火万丈，对礼尚书李纲说：“元吉年轻，还不熟悉军政事务，所以派窦诞、宇文歆协助他。壮人好几万，军粮预拨了上十年，我举义旗打江山的发祥地，眨之间就丢了。宇文歆带提这计策，我要杀掉他。”李纲说“：得亏宇文歆才让陛下没有失去，我认为他有功。”祖询问原因，李纲回答说：“罪过在窦诞没有规劝齐王，致使士卒百姓怨恨愤怒。再说齐王年轻，肆无忌惮地骄横放纵的事，放纵边的人，掠夺百姓的财。窦诞不曾劝谏制止，却放任包庇他，所以造成了祸，这是窦诞的罪责。宇文歆论情要疏远些，接近他的时间又短，齐王的过失，他已全禀奏过了。何况是父间的事情，别人不好说话，但宇文歆却说了，难还不忠诚？现在要追究他的罪责，不会使他心服，我认为很不恰当。”第二天，祖请李纲，让他坐到自己边，说：“现在我有了您，刑罚就不会失去分寸。元吉自己作孽，跟别人结下了怨恨。宇文歆曾上表禀奏，窦诞还怎能制止，都不是他们的罪错。”不久任命李元吉为侍中、襄州行台尚书令、稷州刺史。

武德四年(621)，太宗征讨窦建德，留下李元吉和屈突通在洛围攻王世充。王世充兵抵抗，李元吉设下埋伏打败了他，斩杀八百人，活捉他的大将乐仁日方、士卒一千多人。平定王世充后，李元吉被授予司空衔，其余官职照旧，另外赐给王侯的衮衣冠冕、前后两军乐队、二十名仪仗队员、两千斤黄金，跟太宗各赐三座熔炉铸造钱币供自己使用。武德六年(623)，授予隰州总。他后来跟李建成联合算计太宗，分招募勇猛打手，收容逃亡罪犯。还勾结后妃嫔，挨个儿奉承，又重金贿赂中书令封作为帮凶。从此祖疏远太宗偏李元吉。太宗曾经陪同祖到齐王府，李元吉让自己的护军宇文宝潜伏在卧室，准备暗杀太宗。李建成担心不能成功就制止了，李元吉气愤地说：“只是为你老兄着想而已，对我有什么相！”武德九年(626)，改授左卫大将军衔，不久提升为司徒、兼侍中，并州大都督、隰州都督、稷州刺史等官职全照旧。

祖准备到太和去避暑，秦王、齐王应当陪同，李元吉对李建成说：“等我到了太和，就派悍的将士抓住他。把他关地窖，只开一个递送。”恰逢突厥的郁设统率军队驻扎到黄河南岸，围攻乌城。李建成就推荐李元吉代替太宗督率军队北上讨伐，照旧命令秦王府的猛将秦叔宝、尉迟敬德、程知节、段志玄等人一起发。还调来秦王府的士卒名册，挑选兵将，准备夺取太宗的人来充实齐王府。还在祖面前诬陷杜如晦、房玄龄，将他们赶回了家。祖明知是他们的谋却不制止。李元吉乘势秘密请求除掉太宗，祖说“：这人立有平定天下的功勋，罪行还没有暴，要是杀他，凭什么理由？”李元吉说“：秦王经常违抗诏令。刚刚平定洛时，骄横傲慢踌躇满志，不愿赶回京，分赏财，树立个人恩德。违背抗拒到这程度，难不是叛逆？只赶快杀掉，不愁没有理由！”祖没有应声，李元吉就退去了。

李建成对李元吉说“：已经夺取了秦王的锐队，你统帅着几万兵众，我和秦王到昆明池，在那里为你饯行，命令勇士把他折杀在帷幕后边，就说是暴病死去，估计父皇不会不信。我再派人劝说父皇，要他把朝政给我。登位以后，把你立为皇太弟。尉迟敬德等人已经落到你的手中，到时活埋掉，谁敢不服？”率更丞王日至听到这个谋，秘密报告太宗。太宗召集府中官吏们讲了这事，他们都说“：大王您如不决断，江山就不属唐朝了。如果让建成、元吉的罪恶谋得逞，那伙小人得志，元吉凶狠暴戾，终究不会侍奉建成。以前护军薛宝向元吉呈递的符。。说‘：元吉二字合起来就是唐字。’元吉得到符。。兴地说：‘只要除掉秦王，夺取太易如反掌。’挑起内还没有成功，就打好了互相争夺太的主意。凭着大王您的威望，除掉建成、元吉如小草。”太宗迟疑不决，大家又说：“大王您认为虞舜是位什么样的人？”太宗说“：他智慧邃才华横溢，温和谦恭公正诚实，当儿孝顺，君主圣明，怎能随便评论他老人家呢？”大家说“：假使他淘井不来，像鱼鳖一样淹死，怎能成为孝呢？填仓库裂墙时下不来，就被烧成了灰烬，怎能成为圣君呢？忍受小敲击，避开大拷打，的确是有谋略的。”太宗于是定下计谋除掉了李建成和李元吉。