布防當然不能大意，但楊寄接下來的全副心思，就已經在回攻建鄴上了。
機會來得很快，建鄴發來皇帝的金牌，命楊寄回朝敘功。楊寄不理，金牌便一道一道地發，最後旨意里言辭也有些激烈，質問楊寄不遵旨是什麼意思。
楊寄立刻把聖旨傳示給眾人看：「打仗的時候好話哄著我，打完了，就換了副面孔，想誆我撇下你們，隻身回去受死！」他多喝了兩杯，捶著胸氣哼哼說：「上次北燕來使的話你們也聽到了。什麼外敵！分明就是建鄴那幫傢伙自己找了對付我的！多他媽『仁慈』的皇帝，引狼入室了只為把我這張獵弓給撅折了！我在建鄴也有眼線，說是朝堂上明擺著在講：大楚已經出了一個楊寄，不要借著打仗的東風，再出個什麼張寄、王寄、李寄的……再養出個董卓曹操，就得不償失了！」
楊寄半是真氣，半是做戲，一把把手中的酒樽摜在地上，銅製的酒杯發出沉悶的聲響，還在地上跳躍了兩下，裡頭赤紅色的葡萄酒灑了一地。跟著他的人聽到什麼「張寄、王寄、李寄」的話語，心裡也自打鼓：跟著楊寄這些年，不是他的人也是他的人了，若是楊寄被當做董卓曹操倒了台，自己必然也不能善終了。因此各個揎臂捋袖，喧囂陣陣。
「好！」楊寄氣哼哼道，「老子在賣命，他們在弄權對付我！他不仁，我不義！到建鄴問問昏君去！」
大楚的軍隊長年倦怠，而楊寄的英武之名、北府軍的常勝之勢，打都不用打，直接叫各地郡守聞風喪膽。膽子肥的打兩場便舉了白旗，膽子小的乾脆直接就開門投降，且對內自嘲：「楊大將軍本就是楚國的英雄，又不是外虜，說的話也有道理。我不為別的，為百姓不受戰燹之苦，少不得做這樣丟人的事了。」
因此，楊寄一路向南推進，速度奇快，一路城池望風披靡，直到打到了揚州郡的治所——廣陵城。
當江北一線眾城都以懸掛上絳紅色白虎紋的騶虞旗為榮時，廣陵已成為仍孤懸著大楚青色旗幡的唯一一座城了。話說這座城自古乃是名城，地大牆高，富庶繁榮，得廣陵，則一江之隔的建鄴唾手可得。但是，此間刺史不是別人，正是皇甫袞倚為左右臂膀的徐念海。
楊寄早在檄文里，就把進讒的罪過推到了皇帝的寵宦徐念海身上。所以徐念海自知就算投降也是活不成的替罪羊，只能咬著牙死撐，期冀著來自會稽的建德王軍隊可以及時支援一二。很快，楊寄的軍隊已經把廣陵城圍得鐵桶一般。
楊寄並不太擅長攻城，加之他曾親自去過廣陵，知道這座要塞之城，布防極其嚴密。試了幾回，感覺死傷較重，他不願拿自家士兵的血肉去鋪墊成功，因而下令停止進攻，而環圍封鎖了廣陵，打算困死徐念海。
廣陵守兵在城牆上，便看到紅色的騶虞旗，每隔半里左右插一面，一直延伸到遠處看不清的地方為止。密密層層的帳營搭建起來，高高的柵欄聳峙起來，幾道官驛全數被紅袍的楊家軍控制著，牛車絡繹不絕地拉著糧食——圍城的人不缺供給，大概打算在這裡安營紮寨，常駐下來了。
城外只要不缺糧，在這樣秋風初起的日子裡可以過得很滋潤。但城裡就不同了，存糧再多也是有限的。楊寄封城之前，向揚州要走了大批糧秣；封城之時，又恰恰是秋收之前，徐念海甚至還沒有決定堅壁清野，那剛剛開始變黃的稻穀大概很快又要便宜楊寄了。城裡的士兵無不是面如死灰，然而上命不可違，只能咬牙等待。
他們望眼欲穿的會稽援軍，始終沒有來。但是城裡的存糧卻一點點見少。
士兵們每日訓練花的力氣大，又要日夜輪值以防楊寄偷襲，對糧食的需求最多，配給的軍糧吃完了，餓得不行，只能上百姓家去翻找。開始還客客氣氣許諾將來償還，打了欠條扛糧食走。後來就顧不得了，刀劍指著，不給就殺人。殺人搶糧的士兵，開始還處置，後來處置不過來了，徐念海也只好嘆口氣隨便他們去了。