祖发诏书敦促窦建德的将领范愿、董康买、曹湛、雅贤等人到长安去，范愿等人一起商议说：“王世充献东都洛投降唐朝，他手下的将领杨公卿、单雄信一类人都被消灭了，我们这些人如果到长安去，必然没有活命的理由。再说我们的夏王往日捉住淮安王李神通，保全了他的命，送他回了唐朝。唐朝如今得到夏王，就杀害掉，我们这些人残存命，如果不起兵报仇，实在是无脸再见天下英雄豪杰。”于是一起再策划造反。卜卦显示请姓刘的人当首领吉利，就一起到漳南县，会见窦建德原将领刘雅告诉他上述情况，并且请他山。刘雅说“：天下已经太平，我乐意在田园当农夫。起兵的事，不是我的心愿。”大家火了，杀掉刘雅走了。范愿说：“汉东郡公刘黑闼果断勇敢足智多谋，宽厚仁能够容人，跟士卒们建立了厚情。我早就听说姓刘的应当有人王侯，如今要大事，想招集夏王的原班人，非这个人不可。”于是来到刘黑闼家里，说明意图。刘黑闼十分兴，备办筵席招集众人，领着一百多人起兵，突袭打下漳南县城。贝州刺史元详、魏州刺史权威联合兵力攻打刘黑闼，一起被刘黑闼打败，元祥和权威都死在阵地上。刘黑闼缴获了他们的全武装备和剩下的一千多名士卒，这时范愿、雅贤等老朋友老同事逐渐前来归附，队伍到了两千人。

祖武德四年(621)七月，刘黑闼在漳南县设置祭坛，祭奠窦建德，向他禀告造反报仇的心愿，自称大将军。淮安王李神通、将军秦武通、王行先后讨伐他，都被打败。于是移送文书到赵州、魏地，那里的原窦建德的将士们纷纷杀掉官吏来响应。刘黑闼到北边联合怀戎的叛军首领开，军队的气势猛烈，发到宗城时，有几万人。黎州总李世责力抵挡不了，丢下宗城逃去守卫氵名州。刘黑闼追击打败了他，五千名步兵，都死在阵地上，李世责力和秦武通只是保住了自己的命。刘黑闼又征召王琮任中书令，刘斌任中书侍郎，掌文书公务。派遣使者联合北方的突厥，颉利可汗派遣俟斤宋耶那率领骑兵队跟随刘黑闼。刘黑闼队的士气大为振奋，军攻克了相州，半年时间全收复了窦建德原有的地盘。兖州的叛军首领徐圆朗拿齐州、兖州的地盘归附刘黑闼，他的声势更加大。

祖武德五年(622)正月，刘黑闼到相州，僭越自称汉东王，年号定为天造。任命范愿为左仆，董康买为兵尚书，雅贤为右将军，还请来窦建德时候的文武官员全恢复原来的职务，在氵名州建都。他们建立法规主持政务，全照搬窦建德，但作战的勇猛果断超过了他。于是太宗又主动请求统帅军队讨伐刘黑闼，队伍驻扎在卫州，刘黑闼多次派兵挑战，都被唐军挫败。刘黑闼害怕，放弃相州，撤退到列人营设防守卫。这时氵名县的人要求当刘黑闼的内应，太宗派遣总罗士信城据守，刘黑闼又攻克氵名县城，罗士信死于这次战斗，刘黑闼于是据守氵名州。三月，太宗依仗氵名的险要，一字儿摆开军营来威刘黑闼，分别派遣突袭队，截断他的运粮通。刘黑闼又多次挑战，太宗守垒不应战，来挫伤他的锐气。刘黑闼城里的粮吃光了，太宗料定他必然要来决战，预先堵住氵名上游，对守堤的官员说：“战斗打响的时候，等敌人过河走到河中间就挖开堤坝。”刘黑闼果然率领步兵骑兵两万人要过氵名摆阵，跟唐军大战，叛军溃不成军，河又汹涌而来，刘黑闼的人无法过河，被杀死一万多人，被淹死几千人。刘黑闼和范愿等带着一千多人逃往突厥，山东全平定。太宗于是带领军队到河南讨伐徐圆朗。

当年六月，刘黑闼又向突厥借来军队，侵犯山东。七月，到了定州，他原来的将领曹湛、董康买以前逃亡在鲜虞，现在又招集人响应刘黑闼。祖派遣淮王李玄、原国公史万宝讨伐他，在下博战，唐军战败，李玄死在战场，史万宝轻装骑逃回去了。从此河北各个州县全叛变，又投降刘黑闼，十天时间全收复原有城镇，又在氵名州建都。十一月，祖派遣齐王李元吉攻打，他行动迟缓不愿军。祖又命令隐太李建成督率队军讨伐，连打几仗大获胜利。武德六年(623)二月，又在馆陶大败刘黑闼，刘黑闼带领队伍向北逃跑。李建成和李元吉联合组成一千多人的骑兵队聚集在永济渠，一阵猛烈冲刺，刘黑闼败逃，命令骑将刘弘基追击。刘黑闼受唐军威，得不到休息，路途遥远士卒疲劳，到饶时，跟着他的才一百多人，大家都饥辘辘，想城东西吃。刘黑闼委任的饶州刺史诸葛德威城大礼迎接，请他们城。刘黑闼开始不同意，诸葛德威假装真诚恭敬，哭着持邀请。刘黑闼才走城门，诸葛德威就指挥队拘捕了他，送给李建成，在氵名州斩杀，山东又平定了。