所经过的地方多遭破坏毁灭。齐国的百姓因此便纷纷聚集起来反叛项羽。

汉王的将领攻陷北地，俘获了雍王章邯的弟弟章平。

三月，汉王从临晋关渡过黄河。魏王魏豹投降，领兵追随汉王；汉军攻下河内，俘虏了殷王司马，设置河内郡。

起初，阳武人陈平，家境贫寒，喜好读书。乡里中祭祀土地神，陈平担当主持分配祭肉的人，将祭肉分得非常均匀。里中的父老们于是便说：“好哇，陈家的小子做主分祭肉的人了！”陈平却道：“唉呀，如果我能够主持天下，也会像分配这祭肉一样公平合理的！”到诸侯国反叛秦朝时，陈平在临济事奉魏王魏咎，任太仆。他曾向魏王献策，但是魏王不听。有的人就在魏王面前恶语中伤他，陈平于是逃离魏王而去。后来陈平又为项羽做事，项羽赐封给他卿一级的爵位。殷王司马反楚时，项羽即派陈平去攻打并降服了殷王。陈平领兵返回，项羽就授任他都尉之职，赏赐给他黄金二十镒。

过了不久，汉王攻占了殷地。项羽为此怒不可遏，准备杀掉那些参与平定殷地的将领和官吏。陈平很害怕，便把他所得的黄金和官印封裹好，派人送还崐给项羽；随即毅然持剑抄小路逃亡，渡过黄河，到武去投奔汉王，通过魏无知求见汉王。汉王于是召陈平进见，赐给他酒饭，然后就打发他到客舍中去歇息。陈平说：“我是为要事来求见您的，所要说的不能够延迟过今日。”汉王即与他交谈，颇喜欢他的议论，便问道：“你在楚军中任的是什么官职呀？”陈平说：“任都尉。”刘邦当天就授陈平都尉之职，让他做自己的陪乘官，负责监督各部将领。将领们因不服气都喧哗鼓噪起来，说：“大王您得到一名楚军的逃兵才一天，还不了解他本领的高低，就与他同乘一辆车子，且还反倒让他来监护我们这些有资历的老将！”汉王听到这种种非议后，却更加宠爱陈平了。

汉王率军南下渡过平阴津，抵达洛阳新城。新城县的三老董公拦住汉王劝说道：“我听说‘顺德者昌，逆德者亡’；‘师出无名，事情就不能成功’。所以说：‘点明要讨伐的人是乱臣贼子，敌人才可以被征服。’项羽行事大逆不道，放逐并杀害了他的君主义帝，实是令天下人痛恨的逆贼啊。仁德之士不逞一时之勇，正义之军不拼一己之力。大王您应当率领三军将士为义帝穿上丧服，以此通告诸侯王，共同讨伐项羽。这样一来，四海之内没有人不仰慕您的德行的，这可是像夏、殷、周三王那样的行为啊！”汉王于是便为义帝发丧，裸露着左臂痛哭流涕，全体举哀三天，并派使者向各路诸侯通报说：“天下共同拥立义帝，对他北面称臣。现在项羽却把义帝杀害在江南，纯属大逆不道！我要出动关中的全部兵马，征收河南、河东、河内地区的士兵，乘船沿长江、汉水南下，愿意追随诸侯王去攻打楚国这个杀害义帝的逆贼！”

汉王的使者到了赵国，陈馀说：“汉王如果能把张耳杀了，我就跟随汉王。”汉王于是就寻找到一个与张耳很相像的人，杀掉了他，拿他的头送给陈馀，陈馀便派兵援助汉军。

田荣的弟弟田横四处收拢散兵游勇，得到几万人，即从城阳起兵反楚。夏季，四月，田横拥立田荣的儿子田广为齐王，抗拒楚军。项羽为此留在齐地，与齐军接连作战，但没能攻下城阳。项羽虽然闻听汉王东进，可是既然已经在攻击齐国，就想待打败齐军后再去攻打汉王的军队。汉王因此得以统率各路诸侯军共约五十六万人讨伐楚国。汉军抵达外黄时，彭越率领他的部队三万多人归顺了汉王。汉王说：“彭将军您夺取了魏地的十多个城邑，想要尽快扶立原魏国国君的后代。如今西魏王魏豹便是真正的魏国后裔呀。”随即任命彭越为魏国的相国，让他独自率领自己的部队去攻夺、平定梁地。汉王接着就攻入彭城，搜罗财宝美女，天天设置酒宴，大会部将宾朋。

项王听到这个消息，即命令众将领继续攻打齐国，自己则亲领精兵三万人南进，从鲁地出胡陵，抵达萧地。清晨，楚军从萧地袭击汉军，向东直打到彭崐城，至中午时分，大败汉军。汉军将士都纷纷奔逃，相跟着涌入水、泗水，死了十几万人。这时汉军士兵全往南向山里逃去。楚军又穷追不舍，尾随到灵壁东面的瞧水边上。汉军仓皇退却，被楚军挤迫，十多万士兵全部落入睢水，致使河水都阻塞得流不动了。楚军将汉王重重包围起来。这时恰巧大风从西北刮起，风势摧枯拉朽，墙倒屋塌，飞沙走石，地暗天昏，迎头卷向楚军，楚军被吹得阵脚大乱，零落奔逃。汉王因此才得以偕同几十骑人趁乱溜走。汉王想经过沛去接取家眷，而楚国也派人到沛去掳掠汉王的家眷。家眷们于是都狼狈逃散，没能与汉王见面。

汉王在途中遇到他的嫡长子后来的孝惠帝刘盈和长女鲁元公主，就用车载着他们一起走。楚军骑兵疾追过来，汉王慌急，把两个孩子推下车去。滕公夏侯婴任掌管车马的太仆，他总要下车把两个孩子收载起来，这样做了三次，于是滕公说道：“现在尽管情势紧急，车子也不可赶得太快，怎么能抛下孩子啊！”所以就慢慢地行走。汉王很是恼火，有十多次想杀掉滕公。这样，滕公终于保护着两个孩子脱离了险境。审食其随太公、吕后从小路寻找汉王，没遇见汉王，反而碰上了楚军。楚军就将他们一起带回，项羽便经常把他们安置在军营中作人质。