说：“冯惠亮、陈正通都掌握了大的兵力，是想守险不战，因此构城筑垒而固守，仓猝之间是不能攻取的。不如直指丹，掩袭辅公礻石的巢，丹一旦攻破，冯惠亮等人自然不战而降。”李孝恭想采纳诸将的意见。李靖说“：辅公礻石的锐兵力，虽然集中在、陆二军，然而他自己统帅的军队，也都是骁勇的士卒。冯惠亮等驻守的城栅尚且不能攻取，辅公礻石已经固守的石城，难是可以轻易攻取的吗？如果我军直奔丹，旬月之间都不能攻下而滞留在那里，前面的辅公礻石没有平定，后边的冯惠亮也是一大隐患，这样我们就会腹背受敌，恐怕不是万全之计。冯惠亮、陈正通都是经百战的贼将，决不会害怕野战，只因为辅公礻石立下计谋，命令他们持重防守，只想不战拖延时间使我军疲劳。现在如果我们攻冯惠亮、陈正通的城栅，就可以打他个其不意，消灭敌贼的机会，只在此一举。”李孝恭认为李靖的意见很有理。于是李靖率领黄君汉等先攻打冯惠亮的城栅，经过苦战攻下城栅，杀伤、溺死敌军一万多人，冯惠亮弃城奔逃。李靖亲自率轻兵先到丹，辅公礻石得知战败的消息十分恐惧。先派贼将左游仙率兵据守会稽的有利地势作为救助，辅公礻石自己带兵弃城东奔，向左游仙据守的会稽撤退，逃到吴郡，与冯惠亮、陈正通一起相继被唐军擒获，东南地区全都平定了。于是朝廷在丹设置东南行台，拜李靖为行台兵尚书，赐千段、婢百人、百匹。当年，废除行台制度，又改授李靖为检校扬州大都督府长史。丹地区连年遭受战之灾，经济凋敝、民不聊生，李靖派官吏到各地抚百姓，使吴地、楚地的民心很快安定下来。

武德八年(625)，突厥犯太原，李靖被任命为行军总，率江淮兵一万，与张瑾驻守在太谷。当时诸军都师不利，只有李靖的军队得以保全。不久朝廷授任李靖为检校安州大都督。祖常常说“：李靖是萧铣、辅公。。的膏肓之病，古代名将韩信、白起、卫青、霍去病，没有一个能比得上李靖！”武德九年(626)，突厥莫贺咄设犯边关，朝廷任李靖为灵州行军总。颉利可汗泾，李靖率兵兼程而行直奔豳州，阻截贼寇的归路，接着唐朝与突厥结盟，颉利可汗才撤兵。

太宗即位后，拜李靖为刑尚书，把他前后的功绩都记载在一起，赐给他实封四百。贞观二年(628)，李靖以刑尚书的职务兼任检校中书令。贞观三年(629)，转任兵尚书。这时突厥各属国之间矛盾激化，上下离心，朝廷准备乘此时机谋划取突厥，任命李靖为代州行军总，李靖亲自率领三千锐骑兵，从邑发，其不意地直奔恶岭敌军。颉利可汗没有料到李靖会来，唐军官兵突然突厥境内，于是大惊，对人说“：如果唐军不是倾国而来，李靖怎么敢孤军到此？”突厥军中一日数惊。李靖得知这个情况，暗中派间谍潜敌军离间颉利可汗的心腹亲信，颉利可汗的亲信康苏密归降了唐朝。贞观四年(630)，李靖率兵攻定襄，大获全胜，俘获了在突厥避难的隋朝齐王日柬的儿杨正和隋炀帝的萧皇后，并把他们送到京师，颉利可汗只逃走。李靖因立功晋封为代国公，得到朝廷赐六百段及名贵的匹、宝等奖赏。太宗曾经对大臣们说“：汉朝李陵带领五千步卒攻匈，最后落得归降匈的下场，尚且得以留名青史。李靖以三千骑兵敌境，攻克定襄，威振北狄，这是古今所没有的奇勋，足以雪往年在渭与突厥结盟之耻。”

自李靖攻破定襄之后，颉利可汗非常恐惧，退驻铁山，以保本，派遣使者到京都长安谢罪，请求举国归附唐朝。朝廷又任命李靖为定襄行军总，前去迎接颉利可汗。颉利可汗虽然表面上请求朝谢罪归附唐朝，但却暗怀不测之心。当年二月，唐太宗派遣鸿胪卿唐俭、将军安修仁去抚颉利可汗，李靖揣到唐太宗这样的真实意图，对将军张公谨说“：朝廷的使者到了颉利可汗那里，突厥必定会放松戒备。我们就乘此良机，选骑一万，携带二十天的军粮，带兵从白袭击突厥。”张公谨说：“皇上已经下诏准许颉利可汗归降，朝廷派去的使者也在那里，恐怕不宜去讨伐击。”李靖说：“这正是用兵的良机，时机不可错过，这就是韩信之所以消灭齐国的理。像唐俭等使者即使因此遭到不测，又有什么可惜的呢。”于是督军疾，军队行到山，遇到颉利可汗的哨兵千余帐，把他们全俘获，并押着他们随军行动。颉利可汗见到朝廷使者心中大喜，本没有料到唐军官兵会来。李靖率领的唐军到距颉利可汗的牙帐十五里的地方，突厥才发觉。颉利可汗畏惧唐军的威力，抢先上落荒而逃，敌军因失去主帅，众立即溃散。李靖斩杀敌军一万余人，俘获男女十万余人，杀死颉利可汗的妻隋义成公主。颉利可汗企图逃往吐谷浑，被西行军总张宝相抓获押送京师。不久突利可汗投奔了唐朝，于是恢复定襄、常安等领地，扩大的疆界西起山北到大漠。

唐太宗一听到李靖击败颉利可汗的消息，心中非常兴，对左右的大臣说：“我听说君主忧愁臣觉得耻辱，君主受辱臣甘愿赴死。从前大唐草创之时，太上皇因为百姓的缘故，向突厥称臣，我为此常常痛心疾首，立志要剪灭匈，为此坐不安席，不甘味。现在只暂时调动一分军队，就无往不胜，使单于归顺，终于洗雪当年称臣的耻辱！”于是太宗大赦天下，祝酒五天。御史大夫温彦博妒忌李靖的功绩，暗地向太宗密告李靖治军无方，纵兵掳掠突厥的奇珍异宝，致使珍宝都散落军之手。太宗狠狠地训责李靖，李靖叩首谢罪。过了好久，太宗对李靖说“：隋朝的将领史万岁打败了达可汗，可是隋朝对有功的不加以奖赏，因此导致灭亡。我就不是这样，应当赦免你治军无方的罪，记录你击败突厥的功勋。”于是下诏加封李靖为左光禄大夫，赐绢千匹，增加封地连同以前的达到五百。不久，太宗又对李靖说：“以前有人诽谤你，现在朕已经明白了真相，你千万不要把这事放在心里。”这时又赐给李靖绢二千匹，提升他为尚书右仆。李靖生沉稳厚重，平时与大臣一起参议国事时，总是蠕动着嘴，像是不会说话一样。