太宗以前军渡过黄河，先平定渭北。三辅的官员、百姓以及豪杰绅士到军门请求献报效者每天用上千人来计算，扶老携幼，布满在大旗之下。太宗收留采纳英俊豪杰以作为备用的官员，远近听说此事的人，都来献投效。军队在泾驻扎，锐之兵九万，击破胡贼刘鹞，兼并了他的队。留下殷开山、刘弘基屯扎在长安故城。太宗率军亲自奔赴司竹，贼酋李仲文、何潘仁、向善志等人都率兵来会合，屯兵在阿城，获得兵士十三万。长安父老拿、酒到军门的很多，太宗劳他们而后送走他们，什么也不接受。军令严明整肃，秋毫无犯。不久太宗与大军平定京城。祖辅助国政，任唐国内史，改封为秦国公。恰值薛举兵十万前来近渭之滨，太宗亲自攻打，大破其众，追杀一万多人，攻占敌军土地一直到陇坻。

义宁元年(617)十二月，太宗再次被任命为右元帅，统兵十万攻取东都。等到将要回军时，对左右的人“：贼人见我回军，必定会相继跟踪追击。”设下三次埋伏以等待追兵。不久，隋将段达率领一万多人从后追到，过三王陵时，太宗发动伏兵攻击，段达大败，追杀敌军直到城下。于是在宜、新安设置熊、谷二州，派人留守而回。迁徙改封太宗为赵国公。祖即皇帝位，任命太宗为尚书令、右武侯大将军，晋封秦王，加授为雍州牧。

武德元年(618)七月，薛举侵泾州，太宗率众军加以讨伐，不胜而回。九月，薛举死，其仁杲继立。太宗又被任命为元帅攻击仁杲，两军在折土庶城相持不下，双方挖沟筑起营垒相持六十多天。贼众十多万，军队的气势盛，多次前来挑战，太宗兵不动以挫败他的锐势。贼人粮已完，贼将牟君才、梁胡郎前来投降。太宗对诸将军“：敌军锐气丧失衰退了，我军当攻取他们。”派将军庞玉先在浅原南扎阵以引诱贼人，贼将宗罗日侯集中军队前来抗击，庞玉军几乎失败。不久太宗亲统大军其不意覆盖了浅原北。宗罗日侯远远望见，再次回军抗拒。太宗率领锐骑兵数十人攻贼阵，于是太宗之军里外合一齐奋力攻击，罗日侯全军溃败，太宗斩贼首级数千个，掉山涧山谷而死者不可胜计。太宗率领随从二十多个骑兵追赶逃跑敌军，笔直奔赴折土庶而追逐敌军。仁杲十分恐惧，环城守卫。将晚，太宗大军陆续到来，四面合围。早晨，仁杲请降，太宗俘虏他的兵一万余人，男女五万。

不久诸将祝贺，因趁机问：“刚开始大王野战攻破贼人，贼酋还保有固城池，而大王没有攻战之，用轻骑兵转战追逐，不等待步兵，直接迫于敌人城下，都怀疑不能战胜，然而竟然攻下了，这是什么缘故？”太宗“：这是用权宜之计迫他，使他们的计谋没有机会发，因为这个原因战胜。罗日侯依靠往年取胜，加之长期养足了锐气，见我军不，心中对我轻视。现在敌军见我战，十分兴，全军队前来作战，虽然我已击破他，但擒捉杀掉的还少。假若不急速追逐，敌军回军投折土庶城，仁杲收拢安抚，那就不可能战胜了。再说敌军兵众都是陇西人，战败逃散，来不及回顾，败逃到陇外，则折土庶城自然空虚，我军随后压下，所以恐惧而投降。这些可谓是已定的计划，诸君难全不见吗？”诸将“：这不是普通人所能赶得上的。”获得贼兵锐骑兵很多，仍令仁杲兄弟及贼帅宗罗日侯、翟长孙等率领。太宗与他们游乐骑，没有什么距离隔阂。投降的贼徒恩并慑于太宗的威势，都愿意以死报效。当时李密刚刚归附，祖命令李密骑驿到豳州迎太宗。李密见太宗天姿英明威武，军威严肃，悚惧叹服，私下对殷开山“：真是英明之主也。不是这样，凭什么来平定祸呢？”太宗凯旋，在太庙献捷。任命太宗为太尉、陕东行台尚书令，镇守长，关东兵全受他节制调度。不久又加授左武侯大将军、凉州总。

宋金刚攻陷浍州，军队气势盛。祖因为王行本还占据蒲州，吕崇茂在夏县反叛，晋、浍二州接着陷落，关中震动惊骇，于是下手令：“贼人气势像这样厉害，难以与他们争胜负，应该抛弃河东之地，只好好守住关西罢了。”太宗上表“：太原是王业的基础，国家的本，河东富裕是京城的凭借。假若全抛弃，臣私下到憋闷遗憾。希望借助臣兵三万，必定能消灭平定刘武周，克复汾、晋。”祖于是全调遣关中兵加给太宗，又亲自驾临长送太宗。

二年(619)十一月，太宗率军队奔赴龙门关，踏冰而渡过黄河，驻柏，与贼将宋金刚对峙。不久永安王孝基在夏县被打败，于筠、独孤怀恩、唐俭都被贼将寻相、尉迟敬德所俘，将要回到浍州去。太宗派殷开山、秦叔宝在良川拦截，大破贼军，寻相等人仅仅本人逃脱，太宗全俘虏他的众，再回柏。于是众将都请战，太宗：“金刚是奔走千里的孤军，我地，兵将，都在这里。刘武周占据太原，专门依靠宋金刚来抵抗。士卒虽多，内面实际很空虚，意在速战。我巩固营垒，养蓄锐以挫折他的锋芒，贼粮尽计穷，自当逃跑。”