下午時分，林正彪得到消息，隋軍前鋒已經殺到了百里之外，這讓他極為焦慮，他再無法等下去，急忙來城頭找呂平商量對策。
城頭上，士兵們正在忙碌的搬運各種滾木礌石，上萬士兵部署在豫章城各處，呂平正在指揮工匠安裝投石機，這時，有士兵喊道：“主公來了！”
呂平回頭，只見林正彪帶著十幾名手下正快步走來，呂平連忙迎上去行一禮，“參見主公！”
林正彪擺擺手，憂心忡忡問道：“有什么消息嗎？”
“回稟主公，卑職也在等消息，從時間上算，卑職派出的探子應該已經回來了。”
話音剛來，遠處傳來一陣急促的馬蹄聲，眾人連忙探頭向城下望去，只見一名士兵正騎兵向城門處疾奔而來。
“是他嗎？”林正彪問道。
呂平點了點頭，故作疑惑道：“是他，但應該是三個人，怎么只回來一個？”
不多時，騎兵進了城，被守城士兵領到城頭，士兵跪下稟報，“夏遜參見主公，參見將軍！”
“怎么只有你一個，另外兩名弟兄呢？”呂平問道。
“回稟將軍，我們在湓城縣南遇到了一隊隋軍斥候，另外兩名弟兄不幸中箭陣亡，卑職騎兩匹馬狂奔才擺脫了隋軍斥候的追擊。”
“不說這些了，快說說隋軍情況，他們水軍是怎么回事？”一旁的林正彪急問道。
“回稟主公，隋軍戰船已回撤到長江了，聽說是數萬唐軍渡江進攻蘄春郡和廬江郡，合肥危急，守將向齊王求救。”
林正彪一拍額頭，激動萬分道：“蒼天有眼啊！”
林正彪心中狂喜，唐軍終于出兵了，他的基業可以保住了。
呂平連忙道：“主公，張鉉之所以沒有隨水軍北上，必然是想急速攻下豫章城，全殲我們后再回兵，我們完全可以利用江淮危急，張鉉急于撤軍的心態和他打迂回戰，守城是下策，我們應該遠走，讓他們追之不及，不得不撤軍。”
“你的意思，我們南撤去宜春郡？”
呂平搖搖頭，“隋軍有一萬騎兵，我們跑不過騎兵，我的意思是向東走！”
林正彪豁然開朗，“去鄱陽郡！”
上午他說殺去鄱陽郡、殺去江南只是開個玩笑，卻沒有想到這個玩笑居然要成真了。
呂平緩緩道：“其實主公的建議很正確，隋軍戰船北上，使他們主力無法渡過贛水，我們坐貨船過江去鄱陽郡，隋軍無法追趕，也只能北撤去對付唐軍，那么我們不僅可以收復鄱陽郡，甚至可以像主公說得那樣殺到江南去，這是一次千載難逢的機會，往小里說我們可以保住基業，可往大里看，甚至可以成就霸業，就看主公要不要干一票大的？”
林正彪的身體里流著的血液，一個原本的玩笑漸漸變成現實，他仿佛看見了自己登基為帝王的那一天，熱血開始在他血管里沸騰，他毫不猶豫地下達了命令，“傳我的命令，全軍立刻收拾行裝，去江邊集結！”
豫章郡是一直是水軍的地盤，也是水軍的后勤補給重地，上百艘貨船便靜靜停泊在贛水碼頭上，這些貨船是林正威的財產，但現在卻屬于了林正彪，由于隋軍前鋒已經出現了百里外，所以林正彪的四萬軍隊撤離得極為迅速簡單，在呂飛的強烈要求下，每個士兵只攜帶少量干糧上船，所有的糧草輜重都丟棄了。
“我們在和時間賽跑，隋軍馬上殺來了，不要讓我們成為第二個孟啖鬼！”呂飛急得大吼道。
想到孟啖鬼和他軍隊的下場，士兵們個個膽戰心驚，很多人甚至連自己的財物都不要，只收拾一點細軟，便跟隨軍隊迅速撤離。
一隊隊士兵向貨船上走去，一艘艘滿載著士兵的貨船緩緩離開碼頭，向贛江對岸駛去。
這時，呂飛騎馬奔至碼頭，對正要上船的林正彪道：“主公，我們不能便宜了隋軍，卑職去把倉庫里的糧食和財物全部燒掉。”
呂飛的建議說到了林正彪的心坎上，他當然不想把財物和糧食留給隋軍，林正彪立刻同意了呂飛的方案，“呂將軍可率三千軍隊善后，不要久呆，當心隋軍隨時殺到！”
“主公放心吧！卑職會及時撤離。”
呂飛又意味深長地看了一眼兄弟，“二弟，主公就交給你了。”
“大哥放心吧！你自己要當心。”
呂飛調轉馬頭，率領本部三千名士兵向豫章縣城奔去。
呂平和林正彪上了大船，大船啟動，向對岸駛去。
百艘貨船一共運送了三趟便將四萬大軍全部運過了贛水，當百艘貨船返回時，西岸只剩下最后呂飛率領的最后三千軍隊。
這時呂飛對手下士兵令道：“去把所有的船夫叫下船，我有話對他們說！”
四萬大軍渡過贛水，便一路向西疾行，他們帶的糧食并不多，每人背了十斤米，最多可維持七八天的消耗，但并不是他們過了贛水就有補給，過了贛水，他們還在豫章郡境內，走三天后抵達弋水，過了弋水才進入鄱陽郡境內，但還要再走兩天才能到達有糧食庫存的鄱陽縣。
也就是說他們要走五天才可能有補給，他們所攜帶的糧食其實并不多，稍微放寬了吃就不足了，而且其間不能出意外，否則也會拖延他們的時間，使他們糧食不夠支出。
林正彪率領軍隊一口氣走了兩天，這天中午，士兵們都有點筋疲力盡了，體力透支嚴重，行軍速度如蝸牛爬行，林正彪也疲憊不堪，他的戰馬不停打著響鼻，也快不行了。
這時，呂平上前勸道：“主公，休息一下吧！后面還有很多士兵沒有跟上來。”
“原地休息！”
林正彪無精打采地吩咐一聲，他自己從馬上滑落下了，躺在草地上不想動了，士兵們紛紛就地休息，一般五個人一伙，每人貢獻一把米，大家架火煮飯。
林正彪喝了口水罵道：“走了兩天連個鬼影子都看不見，人都死哪里去了？”
旁邊一名親衛道：“主公有所不知，這一帶靠鄱陽湖近，地勢低洼，一旦長江漲水，鄱陽湖的水位也會上漲，這里就會被淹掉，所以這一帶沒有人煙，村莊都在南面，往南走五六十里就能看見村莊了。”
“難怪！這里離弋水還有多遠？”
“回稟主公，大概還有一百二十里左右。”
林正彪一陣頭大，這豈不是要明天才能抵達，這時，林正彪左右看了一圈，卻不見了呂平，便問道：”呂將軍哪里去了？”
“呂將軍好像是去接應后面的弟兄了。”
“后面還有多少人沒有跟上？”
“大概有五六千人。”
“一群沒用的飯桶！”林正彪低低罵了一句。
就在這時，有士兵指著前方喊道：“快看，那是什么？”
眾人向前方望去，只見前方塵土飛揚，黃塵遮天蔽日，就像沙塵暴來臨一般，這時大地也開始顫抖起來，眾人面面相覷，不知發生什么事，忽然，前方士兵開始驚恐地大喊大叫起來，無數士兵向這邊狂奔而來。
“發生了什么事？”林正彪怒吼問道。
“主公！”
一名親兵跌跌撞撞奔來，喊道：“騎兵！隋軍騎兵殺來了！”
林正彪大吃一驚，隋軍不是被贛水攔截在河西了嗎？這里怎么會有騎兵？
“主公快上馬！”
親衛們七手八腳將林正彪扶上戰馬，這時，林正彪看見了，鋪天蓋地的騎兵正從前方殺來，已經殺進了他的軍隊之中，看得出隋軍騎兵來得非常突然，使他的軍隊措手不及。
“主公，南面也殺來了！”
林正彪一回頭，只見南面樹林內也殺出一支數千人的騎兵，距離他不過兩百步遠，為首一名銀盔銀甲的年輕大將，手持梅花亮銀槍，白馬如龍，盔頂紅纓飛揚，手中銀槍如梨花紛飛，所過之處尸橫遍地，皆是一槍斃命，那名隋軍白馬將看見了林正彪，催馬向他殺來。
林正彪嚇得魂飛魄散，調轉馬頭便逃，他的親兵一聲吶喊，百余人一擁而上，阻攔住了殺來的隋將。
這名隋將正是白馬銀槍將羅成，張鉉率領的三萬軍隊已經在這里布下了天羅地網，等著賊軍鉆進口袋，羅成率領三千騎兵埋伏在南面的樹林內，正好是林正彪的休息之處。
羅成并不認識林正彪，但林正彪頭戴金盔，暴露了他非同一般人的身份，羅成催馬殺來，卻被百余士兵攔住了去路，他勃然大怒，長槍左挑右刺，只片刻便殺死了三十余人，但林正彪的親兵卻個個悍不畏死，死活不肯退讓，拼死將羅成攔住。
這時，數百名隋軍殺來，替羅成擋住了部分敵軍，才使羅成殺出重圍，但林正彪卻逃得不見了蹤影，氣得羅成破口大罵，調轉馬頭向這些攔路敵軍殺去，他的滿腔怒火都發泄在了林正彪的親兵身上。