613年初，杨广二征高句丽，再次大规模征调民夫，格谦的许多伙计不堪负担，求助于格谦，格谦是讲义气的大哥，不肯撇下多年的伙计们不管，与高开道等亲信商议，决定举兵造反，不再受官府的鸟气了。在格谦的家乡豆子岗地区，到处都是大大小小的卤盐池，还有大片大片的盐碱洼地，地域广阔复杂。格谦造反队伍就以此地为根据地，高开道骁勇被封为大将军。官府屡次进剿，都被杀的大败。
附近逃亡的流民争相前来投靠，格谦凭着多年当盐商大佬的经验，在起义军中实行的“等身制”，所有新来投军的人都身份平等，只要有战功，就能获得提升，十夫长、百夫长、团长（管辖三百人）、旅长（管辖一千人）、将军（管辖数千人），士兵也可以做到将军。由于格谦运筹得当，造反不到一年时间，就发展到上万人，在各路造反势力中，成为声势较大的一股。
格谦击败官军屡次进剿后，开始离开豆子岗，向外扩张，格谦的兵力还不足以进攻渤海郡这样的大城，而是进攻下属县乡，赶跑当地官员，取代官府向大户人家收费，致使渤海郡、河间郡、平原郡等地的多个县乡脱离了官府的控制。
有一次格谦领兵轻敌冒进，被隋军包围，其余部众不敢救援，高开道只身骑马挺枪杀入重围，连杀数十名隋兵，高开道见格谦战马中箭身亡，高开道将战马让与格谦，自己步战，矫捷勇悍，奔跑速度不输奔马，护卫格谦杀出重围。从此，高开道悍勇之名传遍河北山东。
613年三月，孟海公在周桥聚众起义，短期内就聚众数千人，在曹、戴二州的县乡（即今山东曹县、成武、定陶一带）活动。
单雄信，曹州济阴（今山东菏泽市曹县西北）人，勇武绝伦，是当地大户，也是山东绿林瓢把子，往年河北、河南的多起官银被劫案件就是以单雄信为首的江湖豪杰做的。
徐世勣比单雄信小六七岁，曹州离狐（今山东省菏泽市东明县）人，父亲是商业巨贾，家中仅僮仆就有十多人。徐世勣从小聪颖顽劣，喜武好斗，与单雄信是挚交。徐世勣年少时就显示出过人谋略，单雄信做的许多大案就是他策划的。
这日，徐世勣与单雄信相商，说道：“孟海公本来就是个衙役，咱们看不上眼的人物，如今竟然成为咱们这一带的头面人物了。”
单雄信说道：“他人多咋了，谅他也不敢骚扰你我之家。”
徐世勣说道：“我父亲已携带大部分财产搬迁了，官军早晚会前来进剿孟海公，到时你我不可能帮助官军剿杀乡亲，必然不被官府所容，不如早做打算。我看当今各路义军中，翟让占领的瓦岗山地势最好，咱们变卖家当，与他合伙如何？”
单雄信说道：“我也多有听说，此人颇讲义气，当今天下大乱，再不造反，你我就落伍了，就按你的主意办。”
于是，单雄信和徐世勣变卖家产，招募了数百人，投奔翟让。
翟让见单雄信携带大量财物前来投奔，当然大喜，也知道单雄信是江湖上的头面人物，允许单雄信的人马相对独立，单雄信等人也尊翟让为大当家。
江湖上的许多绿林人士，如：王伯当、牛进达等人闻之，也前来投靠。
徐世勣为翟让出谋，说道：“咱们瓦岗山下南边是大运河的通济渠，西面是永济渠，以往都是抢一单就跑，现在咱们的实力强大了，不如直接设卡收费，可为咱们常年提供收入。”
翟让赞同。徐世勣还大力整修瓦岗寨，增强防御能力，亲自训练士卒，使得瓦岗军成为所有农民起义军中，最训练有素的部队。徐世勣是瓦岗军中年龄最小的头领，此时年仅十七岁，但俨然已经成为瓦岗军运作的大脑。
杨玄感造反失败后，李密四处潜逃。瓦岗军的王伯当与李密是旧识，将其引荐给翟让，加入了瓦岗军。
李密以大隋天下群雄逐鹿为视角，对当前形势侃侃而谈，使得徐世勣眼前一亮，如拨云见日一般。徐世勣虽然读书识字，但从未接触过庙堂之事，故视李密为大才。
窦建德，东汉大司空窦融17世孙，辽东宣王窦拓玄孙，家道落败，搬迁到贝州漳南（今河北故城县），尚豪侠，为乡里敬重。
窦建德年轻时，把履行诺言看得很重。曾经有个同乡死了父母，家境贫寒无力安葬，当时窦建德正在耕田，听到后直叹气，立即放下农活，主动送去办理丧事所需要的全部财物，因此深受乡亲们称赞。原先，他当过里长，因犯法逃出去了，碰到朝廷大赦天下才回家。他父亲去世，送葬的有一千多人，凡是有人送礼，一概辞谢而不接受。
同县人孙安祖骁勇，与窦建德为友，为逃避兵役投奔窦建德，窦建德对他说：“文帝在位时，天下富裕兴旺，派出百万人马征讨辽东，尚且被高句丽打败。今年发生水灾，百姓贫困，但皇上不体恤民情，要亲自到辽东督战，加上往年开挖河渠，损伤的元气还没有恢复，百姓疲劳困乏，连年征战，长年在外的人不能回家，如今又要出兵，容易酿成动乱。男子汉大丈夫只要不死，就该建功立业，怎能萎靡不振。
我熟悉高鸡泊，面积辽阔方圆几百里，湖沼上的蒲草又密又深，可以到那里去隐藏起来，找机会出来抢劫，足够生活、积蓄，拉起人马以后，等待时局动荡，必然干出一番惊天动地的大事业。”
孙安祖赞同他的计划，在高鸡泊内建立了据点。
此后凡是要逃避征兵和徭役的人，窦建德都介绍投奔孙安祖。孙安祖自称将军，手下发展到数百人。
鄃县人张金称也邀集了上百人做强盗，在黄河的险要水域抢劫活动。
在高鸡泊内的另一股义军首领高士达，与窦建德也是好友。
郡里官兵发现高鸡泊的反贼四处抢掠，惟独不到窦建德的家乡骚扰。因此断定窦建德跟盗匪们相互勾结，就前来拘捕窦建德，恰好那时他不在家，就将他的家属，不论老少都杀掉了。窦建德听到他全家已被杀光，率领他手下的两百人投靠了高士达。高士达自称东海公，任命窦建德为司兵。后来孙安祖被张金称杀掉，他的几千名士卒又全部投奔窦建德，从此逐渐壮大，队伍发展到一万多人，还是在高鸡泊一带活动。窦建德往往拿出身上的所有财物接济别人，跟士卒一样吃苦耐劳，因此能激发人们为他拼命。