，殷恭邃占据舒州，周法明占据永安，苗海占据永嘉，梅知岩占据宣城，邓文占据广州，俚族首领杨世略占据循、，冉安昌占据东，宁长真占据郁林，其他另有称号的各盗群往往啸聚山林泽。当刘武周攻打汾时，祖便召集众将领、吏属，对他们讲：“如今我任留守，如果贼寇攻占了皇帝别，即使贼寇不杀我等，论罪也该死。但要兵迎击，必待朝廷答复，下江都通阻隔、路途遥远，延误了规定的奏报时间怎么办？”众将、吏都说：“国家利益大事，现在能独自决断的人是您。”祖说：“好！”于是招募兵丁，十天时间招得一万人。副留守、虎贲郎将王威、虎牙郎将君雅见大量募集士兵，疑心发生异常事变，商量趁着到晋祠求雨的机会除掉祖。被祖察觉，便暗地了防备。

五月十五日，祖和王威、君雅一办理公务，开府司刘政会指控王威、君雅谋反，祖当即在座位上把他们抓了。十七日，突厥犯边境，祖传令军中说：“有人告发王威、君雅招来突厥，现证实果然如此。”于是杀了王、二人趁势起兵。并派刘文静使突厥，相约媾和。

六月己卯日，祖向各郡发布军事文告，号称是禁暴救的义兵，设置大将军府，建立左、中、右三军。以长李建成任陇西公、左领军大都督，左军隶属其下；次李世民为敦煌公、右领军大都督，右军隶属其下；三李元吉为姑臧公，中军隶属其下。裴寂任长史，刘文静任司，石艾县县长殷开山任掾史，刘政会为属，长孙顺德、王长谐、刘弘基、窦琮为统军。开仓救济穷困百姓。

七月初三，祖手执白军旗，在原野上对全军动员、宣誓，拥有三万人，派李元吉任太原留守。初四，从太原发兵。初五，派将领张纶攻下离石、龙泉、文城三郡。初七，行军至灵石县，安营在贾胡堡。隋朝虎牙郎将宋老生驻扎霍邑，抗拒义军。十七日，隋朝鹰扬府司李轨在武威起兵，自号大凉王。

八月初三，义军在霍邑打败宋老生。初八，攻下临汾郡。十三日，攻克绛郡。十五日，义军在龙门县驻扎，突厥派军前来助战。隋朝骁卫大将军屈突通驻守河东县，拆断了渡桥。二十四日，冯翊的盗贼孙华、土门的盗贼白玄度都备好舟船前来迎接义军。

九月初十，祖兼任太尉，增设下属僚吏。祖用猪、羊祭礼祭祀黄河，然后渡河。十六日，行军停驻长。十八日，陇西公李建成、刘文静屯兵永丰仓，驻守潼关。敦煌公李世民从渭北攻下三辅一带，祖的堂弟李神通在。。县起兵，祖的女儿、柴绍之妻也在司竹起兵，都来与李世民会合。。。县的盗贼丘师利、李仲文，周至县的盗贼何潘仁、向善思，宜君县的盗贼刘炅等来降顺义军，因而夺取平定了。。、杜两县。十四日，祖驻冯翊。二十七日，敦煌公李世民驻扎阿城，陇西公李建成由新丰县奔赴军事要地霸上。二十八日，祖从下圭阝西，将所经过的隋帝行、园林禁苑，全废止，放女让她们回家。

十月初四，祖停驻长乐，拥有众二十万人。隋朝留守卫文升等辅助代王杨侑守卫京城大兴，祖派使者去通告他们，他们不予答复。于是祖围攻京城，但下令：“凡侵犯隋朝宗庙及皇室宗族者，罪及三族。”十九日，隋朝山县令萧铣自称梁公。

十一月初九，义军攻克京城。祖责成主符郎宋公弼收取地图、籍。制定了十二条法律：杀人、抢劫、违反军令、反叛者死。十六日，尊奉远在外地的炀帝为太上皇，立代王杨侑为皇帝。施行大赦，改皇帝年号为义宁(617)。十七日，祖京城，来到朝堂，向门叩拜。隋恭帝杨侑授予祖以代皇帝亲征的最权位“假黄钺”称号、有诛杀中级以下官吏权力的“使持节”、任职大都督内外诸军事、大丞相、录尚书事，晋封祖为唐王。将武德殿作为丞相府，他发布的训示称为“令”，在虔化门理政事。

十二月初七，隋恭帝追赠唐襄公李虎为景王；唐仁公李昞为元王；祖夫人窦氏为唐国妃，谥号“穆”以李建成为唐国承袭爵位的世；李世民为唐国内史令，改封为秦国公；李元吉为齐国公。丞相府设置长史、司录以下的官员。赵郡公李孝恭攻下山南。初八，云县令詹俊攻克、蜀二地。

义宁二年(618)正月初一，隋恭帝下诏：唐王李渊可佩剑径直上殿，朝可不臣礼仪小步快行，朝拜皇帝不自报名号，行增加前、后羽饰车盖、仪仗乐队。十一日，周洮投降。二十一日，世李建成任左元帅，秦国公李世民任右元帅；攻克东都洛。

二月初四，太常卿郑元王寿平定樊、邓二地，使者元规攻克荆、襄一带。

三月初四，齐国公李元吉任太原行军元帅。初十，李世民改封为赵国公。十一日，隋朝的右屯卫将军宇文化及在江都杀了太上皇杨广，立秦王杨浩为皇帝。吴兴郡太守沈法兴占据丹，自称江南总。乐安人祖尚占据光州，自称刺史。二十三日，隋恭帝提升唐王李渊为相国，统领百官、总理朝政，赐予“九锡”———九显示最权势的，唐国设置丞相等官职，建立祭祀祖先的四庙。