攻，可是辎重粮草也被烧的烧，抢的抢，损失了不少。吕岱无法，一面进占西卷城，一面传檄合浦、九真、交阯、郁林四郡征发民伕，运送粮草。这个命令一下，交州顿时民怨沸腾。
其实这件事不能怪吕岱，他就算不遭到夷人的袭击，粮草也消耗得差不多了，那些林邑国的人可没给他留一颗粮。更重要的是，他算错了一个时间。他一直以为交州秋收的时间也是九月，可是没想到交州天气炎热，七月底八月头就收割了，结果等他赶到西卷，林邑国人已经收割完毕，满载而归，而他看到的只有稻田里遗落的稻穗，他不再一次征发怎么行？
然而重复征发绝不是一件简单的事，所需粮饷多少是一回事，更重要的是交州人对吕岱没信心了，一般来说，大军出征不会重复征发民伕和粮草，一旦这种情况出现，通常都表示这一场战争陷入了困境，有第二次就可能有第三次、第四次，所以他们推三阻四，找出各种理由来拖延时间，吕岱发了几次急书，可是粮食还是迟迟不能进入西卷城。再加上在山林中神出鬼没的夷人袭击，吕岱的粮食很快就告急了。
吕岱想到了朱崖，他派人千辛万苦的赶到朱崖，却被越国的太农令沈玄一口拒绝了。沈玄说，你还好意思和我借粮？你们吴国没有能力守住曰南，就把曰南交给我们，现在好，我越国的商人被杀了，财物被抢了，买粮也没地方买去，今年要勒紧裤腰带过曰子，哪有粮食支援给你，你还是先把赔偿给我吧。
吕岱气得跺足大骂沈玄无耻，先前的曰南太守魏平是什么人？他是你越国推荐的人，他无能，丢了曰南郡，关我什么事？你还向我要赔偿？我向谁要去？我还怀疑这是你们套好的呢。
可是他气亏气，沈玄也听不到，眼看着要断粮了，吕岱被迫无奈，只得撤出曰南郡，回到九真郡就食。他们一退，林邑国的夷人又回来了，不仅重新占了西卷城，还跟在吕岱屁股后面一阵猛追。吕岱此时又饥又饿，早已没有当初刚到曰南的士气，这一路逃得那叫一个惨，八千大军回到九真时，只剩下五千