杜伏威人马壮大起来之后，自称将军，纵横淮南，屯并，威胁江都，江都留守派校尉宋颢前来镇压，被杜伏威用计将其引入芦苇荡中，然后放火将其烧死。
公元615年十月，东海李子通率所部万余人来淮南投靠杜伏威。
这个李子通也是隋末一家反王，起兵时是依附在长白山左才相手下，后来因为太得人心，被左才相嫉恨，只得离开长白山，这次到淮南投靠杜伏威，其实有些逃难的意味。
李子通部的加入，使得杜伏威势力增强。
杜伏威当然高兴，但他料不到的是，左才不能容的人，肯定是有他的不是的。而这个李子通不是就是，他是个有野心的人
杜伏威收留这样狼子野心的人，自然是引狼入室了。
李子通果然叛变，他趁杜伏威不注意，率领自己的人马发动内乱
杜伏威措手不及，登时全军大乱，他本人在李子通的追杀下身负重伤。
就在这关键时刻，杜伏威的养子兼大将王雄诞，背负着他，藏匿到芦苇丛中，这才侥幸躲过了追杀。
这次兵变，对杜伏威的打击很大，让他彻底明白了，不是对别人好，别人就会对你好的
在有些人看来，你对他好，是因为你不够他聪明，因而被他利用，所以，他哪里会跟你讲什么情义
李子通无疑就是这样认为的，因此，他对杜伏威下起手来，一点情面也不留。
杜伏威就此与李子通结仇，发誓一定要手刃此贼
然而，就在杜伏威养伤之际，隋军也前来进攻
正是祸不单行怕什么，就来什么
杜伏威此时正在养伤，无法指挥，所以，全军又一次大败，他也差点丢了性命，幸好他的部将西门君仪的妻子勇而多力，背着杜伏威夺路而逃，王雄诞又领着敢死队拼命断后，杜伏威这才逃得一命。
杜伏威经过这两次死里逃生后，更加的冷静和聪明了起来。
他知道，想要报仇，只有强大实力，所以，他四处游击，不断吸收流民加入军队，扩充势力。
就这样，他经过半年的努力，又有了数万人的实力，并控制了江都附近的县作为根据地。
杜伏威本着敌人的敌人，就是自己的朋友的原则，当下与左才结交。
杜伏威占据江都，左才占据淮北，李子通占据海陵，都有数万兵力，江淮一带，被他们三家占领。
大业十二年，公元616年七月，杨广因见北方战事太多，不够安全，又兼想游历自己所开通的大运河，当下不顾群臣反对，离开长安，前往江都巡幸。
杜伏威非常不幸运的是，他的地盘，正好就在江都眼皮底下。
隋廷为了保障皇帝巡幸的安全，当下派出虎牙郎将公孙上哲，率军前往镇压。
双方在盐城展开战争，公孙上哲军队被全歼。
隋廷再派大将陈陵带八千精锐讨伐杜伏威
陈陵的军队训练有素，器械又远强于杜伏威，所以，杜伏威军连连失利。
但陈陵兵力不多，想剿灭杜伏威也不容易，双方打成僵持局面。
同年十二月，隋炀帝车驾到达江都，护驾骁果就有十余万人，声威赫赫。
隋炀帝带来那么多人马，再加上陈陵的人马，隋军应该是军心大振，杜伏威难逃灭亡的，哪里知道，隋炀帝的到来，适得其反。
因为正逢荒年，老百姓本来就已无以为生，如今为了养皇帝的人马，被官府强行压榨，终于造成了一场大饥谨。据记载，江都的老百姓们先是吃树皮树叶，后煮土为食，"诸物皆尽，乃自相食"。
这样一来，大量的百姓揭竿而起。
杜伏威也乘机吸收了大批手下，势力迅速膨胀。
这时杜伏威与陈陵强弱之势已经倒转，于是，他主动向陈挑战。
陈陵也知道战局不利，因此龟缩不出，任由杜伏威自己去耀武扬威。
杜伏威便派使者给陈送了一套妇女衣裳，并送了陈陵个外号叫陈姥。
陈陵怒火中烧，全军出战。
他这一出战，正中了杜伏威的激将法
杜伏威为了击败陈陵，亲自上阵，哪里知道，被一员隋将暗箭射中
主帅中箭，一般侍卫要护送他回去。
杜伏威骁勇异常，根本不回去，还对射自己的隋将吼道:"不杀了你，箭矢不拔"他说着，就像那隋将直冲过去
那隋将见了，登时吓呆了
杜伏威过去，把他斩于马下，然后又拿着那个隋将的首级，连续杀了几十人
隋军见杜伏威如此英勇，吓得后退
隋军士气一挫，被打了个全军覆没。
陈陵单骑逃回江都去了。
杜伏威趁势扩大战果，占据了高邮、历阳等重镇，并在历阳自称总管，封辅公祏为长史。
势力壮大后的杜伏威，吸取了以前的教训，从部队中挑选最精锐的成员组成自己的卫队，称为 "上募"，兵力为五千人。
杜伏威把上募作为自己的子弟兵，平时非常宠爱，但要求也非常严酷，每作战必以上募为先锋，战后检查每人身上的伤痕，如伤在背后，即刻处斩，因为那表示其临阵退后。但如果战胜，杜伏威都把抢掠到的资财赏给全军，如果手下战死，就以死者的财产甚至妻妾殉葬，因此杜伏威所部的亲兵，皆为杜伏威尽死力，人自为战，所向无敌。
杜伏威号令所到之处，江淮间各路小起义军争相归附，郡县纷纷投降。
他随着势力和地盘的增长，开始有士人投靠杜伏威。
杜伏威依靠这些士人，放弃了以前的流寇式战术，开始努力建设自己的地盘。
由于杜伏威本身就深受赋税之苦，所以，对领地内只收很低的赋税，同时，可能是出于贫苦农民对贪官污吏的先天仇恨，杜伏威下令凡官吏贪污者无论轻重一律处死，这当然是不太合理，但却使杜伏威得到了百姓们的支持。
杜伏威之所以有这么大的成就，当然和他的运气有关，但是，更成就他的，是他坚韧的性格他经历多次失败，两次差点被杀，但他仍然坚韧不屈，继续招兵买马，重头再来