杜伏威的計劃是將蘇烈的兩面夾擊和自己的誘敵深入結合起來，既逼著又誘著陳正通和他決戰。
很快，蘇烈親自帶著一營士兵乘船在胡墅登陸。不出蘇烈所料，陳正通將所有的兵力都收縮到桃葉山上，整個胡墅港中，幾乎沒有守軍。
于是隋軍一股而下胡墅。
剛開始陳正通沒有重視此地，可是失去之後，他才感受到了疼，知道胡墅的重要性。失了湖墅，陳正通的糧道斷了。
其實這也不能全怪陳正通。陳正通本就兵少，而大江兩岸，如胡墅一般的小港口，又不知道有多少，小股兵力滲透，實在是防不勝防。
蘇烈以胡墅為核心，派游騎四面出擊，不斷騷擾陳正通的後勤線。
輔公祏本來存的糧食不少，但都在歷陽城中，歷陽城南一敗，輔公祏連城都沒來得及進，自然也顧不得他存的糧食。
小書亭
輔公祏北上之後，只能從烏江（今安徽省和縣烏江鎮）、六合等幾處地方獲得有限的糧食。
輔公祏本部糧食不足，自然也沒法多給陳正通糧食。而且輔公祏也有自己的心思，他擔心陳正通會趁機投降，又沒有什麼有效的辦法約束對方，也只得在糧食上限制對方。
所以輔公祏每次往桃葉山上送糧食，一次差不多不到兩千石，只夠個四五日。
雖然存糧不多，但之前因為每次糧食都能及時地運到，所以陳正通一開始也沒在意糧食的問題。可蘇烈斷了他的糧道後，便卡住了他的脖子。軍中若無糧，神仙來了也沒用。
陳正通急得直撓頭，可混無辦法。
就在這時，隋軍向桃葉山再次發動了攻擊。
陳正通很快發現，這些隋軍戰力一般，看似拼命攻擊，但組織混亂無緒，一看就是羸弱。
這讓陳正通覺得有了機會。
陳正通糧食將盡，根本耗不下去，可若是能趁此機會擊敗隋軍，則全盤都活了。
隋軍胡亂攻擊了一番，便開始撤退。而陳正通乃下令，追擊隋軍。
陳正通的副將吳騷覺得有問題，覺得還是窮寇莫追，以防有詐。可陳正通卻認為，隋軍一路轉戰，長途跋涉，沒有停歇，又在桃葉山下屢屢受挫，現在出現士氣低迷、士兵疲弊的情況也是可以理解的。
而且他也想守著桃葉山，可他一沒兵，二沒糧，怎麼守。
眼看吳騷不停地阻攔，陳正通有些不悅，便令吳騷駐防桃葉山，同時率兵接應自己。
吳騷實在攔不住陳正通，只得眼看著陳正通帶著山上主力向撤退的隋軍發起了 烈攻擊。
這些隋軍一路潰逃，往南而走。
陳正通見狀，追殺的更歡暢了。
只是陳正通不清楚，就在南面不遠處，杜伏威正等著他。
此戰，杜伏威特意挑選了歷陽一戰投降的一些羸弱士兵進攻桃葉山，自己統領著精兵嚴陣以待，就是要來一個誘敵深入。
桃葉山往南，是一片山嶺和長江相夾的狹長地帶，無險可守。
陳正通率俊追擊到此處，正好遇到闞稜在此攔截的騎兵，雖然不多，但橫在大道上，頗為壯觀。
陳正通見到闞稜，腦子「轟」一下炸了。
隋軍有埋伏？
陳正通平日里最畏懼闞稜，此時甚至不敢與其對陣，拔馬便走。大破隋軍已經是不敢想了，能順順當當地撤回桃葉山都是個奢望。
可闞稜部是騎兵，人腿哪有馬腿快。
闞稜騎在馬上，直沖敵軍。有叛軍想阻攔的，闞稜摘下頭盔，一把扔在地上，高聲喊道︰「我是闞稜，你們不認識我嗎？怎麼膽敢來與我交戰！」
陳正通部下本就不少人是闞稜的舊部下，見到闞稜在此，更是喪失斗志，或降或逃。
闞稜一路追擊，陳正通逃到桃葉山前。
陳正通正準備吳騷接應，就見吳騷狼狽不堪地向他們而來，身邊士兵，個個帶傷，丟盔卸甲，士氣不振。
原來陳正通走後不久，之前埋伏的隋軍便 攻桃葉山寨。吳騷兵力不足，根本擋不住隋軍的攻擊，守軍不敵，連連潰敗，多數投降了隋軍。
吳騷眼看情況不對，帶著親衛奪路而逃，這才沒有死在桃葉山上。
陳正通听後，如喪考妣，此真是天喪我也。
現在的陳正通真恨不得投降了杜伏威了事。只是他一直是輔公祏的心月復，跟杜伏威關系普通，實在擔心就這麼降了，會直接被杜伏威砍了腦袋。
陳正通盤算再三，還是決定返回六合，再做打算。于是陳正通便下令往西北方向而走，繞過桃葉山，再折向六合。
陳正通身後的隋軍則是一路窮追不止，陳正通一路潰敗，最後身邊只剩下幾十人。
幸好到了夜里，能見度不高，才讓陳正通這幾十人僥幸逃月兌。
眾人逃了一日，餓的是饑腸轆轆，在田地里找了一些野果，也不敢生火，便就著涼水充饑。
吃完之後，眾人便倒頭就睡，今日一番折騰，實在都疲憊的很了。
眾人睡得正酣，但陳正通的副將吳騷卻無法入眠。
他眼見大軍慘敗如此，就是逃回六合，下場也不會很好，便心生異心。他其實也怕投降之後杜伏威殺了他，但後來又覺得若是用陳正通的腦袋做見面禮，或許不僅不會被殺，還得立功受賞。
吳騷是輔公祏的心月復，在陳正通軍中，相當于監軍，所以陳正通很信任對方。尤其是現在兵敗，陳正通還指著回到六合之後，吳騷能幫他說點好話。
誰料吳騷已經把陳正通當成加官晉爵的好禮。于是趁著陳正通酣睡不醒，悄悄叫醒
了自己的部下，然後直接將睡夢中的陳正通和部下殺死，反身投降了隋軍。
可憐陳正通雖然打了敗仗，但一路死戰，也算個漢子，可惜沒戰死沙場，卻死于小人之手，也是讓人唏噓。
不過吳騷也沒有好下場。
杜伏威年紀輕輕，雖然老辣，但性子里還是頗尚義氣。雖然他恨不得殺了陳正通，但那是在戰場上。眼見吳騷背主殺了上司，他心中著實厭惡。而且杜伏威這人，又不太擅長掩飾，于是直接找個由頭，將吳騷處死了。