逢高祖发出诏书敦促窦建德的将领范愿、董康买、曹湛、高雅贤等人到长安去,范愿等人一起商议说:“王世充献出东都洛阳投降唐朝,他手下的将领杨公卿、单雄信一类人都被消灭了,我们这些人如果到长安去,必然没有活命的理由。再说我们的夏王往日捉住淮安王李神通,保全了他的性命,送他回了唐朝。唐朝如今得到夏王,就杀害掉,我们这些人残存性命,如果不起兵报仇,实在是无脸再见天下英雄豪杰。”于是一起再策划造反。卜卦显示请姓刘的人当首领吉利,就一起到漳南县,会见窦建德原将领刘雅告诉他上述情况,并且请他出山。刘雅说“:天下已经太平,我乐意在田园当农夫。起兵的事,不是我的心愿。”大家火了,杀掉刘雅走了。范愿说:“汉东郡公刘黑闼果断勇敢足智多谋,宽厚仁爱能够容人,跟士卒们建立了深厚感情。我早就听说姓刘的应当有人做王侯,如今要干大事,想招集夏王的原班人马,非这个人不可。”于是来到刘黑闼家里,说明意图。刘黑闼十分高兴,备办筵席招集众人,领着一百多人起兵,突袭打下漳南县城。贝州刺史戴元详、魏州刺史权威联合兵力攻打刘黑闼,一起被刘黑闼打败,戴元祥和权威都死在阵地上。刘黑闼缴获了他们的全部武器装备和剩下的一千多名士卒,这时范愿、高雅贤等老朋友老同事逐渐前来归附,队伍到了两千人。
高祖武德四年(621)七月,刘黑闼在漳南县设置祭坛,祭奠窦建德,向他禀告造反报仇的心愿,自称大将军。淮安王李神通、将军秦武通、王行敏先后讨伐他,都被打败。于是移送文书到赵州、魏地,那里的原窦建德的将士们纷纷杀掉官吏来响应。刘黑闼到北边联合怀戎的叛军首领高开道,军队的气势猛烈,进发到宗城时,有几万人。黎州总管李世责力抵挡不了,丢下宗城逃去守卫氵名州。刘黑闼追击打败了他,五千名步兵,都死在阵地上,李世责力和秦武通只是保住了自己的性命。刘黑闼又征召王琮任中书令,刘斌任中书侍郎,掌管文书公务。派遣使者联合北方的突厥,颉利可汗派遣俟斤宋耶那率领骑兵部队跟随刘黑闼。刘黑闼部队的士气大为振奋,进军攻克了相州,半年时间全部收复了窦建德原有的地盘。兖州的叛军首领徐圆朗拿齐州、兖州的地盘归附刘黑闼,他的声势更加强大。
高祖武德五年(622)正月,刘黑闼到相州,僭越自称汉东王,年号定为天造。任命范愿为左仆射,董康买为兵部尚书,高雅贤为右将军,还请来窦建德时候的文武官员全部恢复原来的职务,在氵名州建都。他们建立法规主持政务,全部照搬窦建德,但作战的勇猛果断超过了他。于是太宗又主动请求统帅军队讨伐刘黑闼,队伍驻扎在卫州,刘黑闼多次派兵挑战,都被唐军挫败。刘黑闼害怕,放弃相州,撤退到列人营设防守卫。这时氵名水县的人要求当刘黑闼的内应,太宗派遣总管罗士信进城据守,刘黑闼又攻克氵名水县城,罗士信死于这次战斗,刘黑闼于是据守氵名州。三月,太宗依仗氵名水的险要,一字儿摆开军营来威逼刘黑闼,分别派遣突袭部队,截断他的运粮通道。刘黑闼又多次挑战,太宗坚守壁垒不应战,来挫伤他的锐气。刘黑闼城里的粮食吃光了,太宗料定他必然要来决战,预先堵住氵名水上游,对守堤的官员说:“战斗打响的时候,等敌人过河走到河中间就挖开堤坝。”刘黑闼果然率领步兵骑兵两万人要过氵名水摆阵,跟唐军大战,叛军溃不成军,河水又汹涌而来,刘黑闼的人马无法过河,被杀死一万多人,被淹死几千人。刘黑闼和范愿等带着一千多人逃往突厥,山东全部平定。太宗于是带领军队到河南讨伐徐圆朗。