当然，阮元的成功也意味着蔡牵逐渐陷入了困境。
“蔡牵啊，看起来，这离间阮家妻妾之计，是已经失败了。”这时，几十艘海盗船正停在福建海中的几个岛屿之处，这里没有官军，自然也就成了蔡牵临时安营扎寨的地方。吕姥这日也接到了岸上线报，周妈在杭州不仅失手，还被关进了牢狱定了罪，便将这件事告诉了蔡牵。
“是啊，哼哼，我却是没想到，这阮家妻妾，居然关系能这般亲密。看起来，咱们平时自诩识人无数，却还是小看了这阮元了。”蔡牵也不禁苦笑道。
“老板，眼下最紧要的，已不是什么离间计了。海上这弟兄们明年还有何钱粮能够接济，还能不能补充足够的火药，这都成问题了。”蔡粼也颇为担忧地说道：“这一年浙江严查海防，整个渔市都是官军严加看管，咱们根本插不了手，海上生意，还是只能在福建和广东做。要是和去年一样也就算了，今年那阮光缵完了，以前海上跟他混日子的那伙人，一大半投到了咱们这里，人多了，需要的钱粮火药就更多了啊？”这时阮光缵已经被阮福映击杀，之前效力于他的安南水军也自作鸟兽散，一部分并入广东海盗，另一部分则因蔡牵也曾与伦贵利共事之故，前来投入蔡牵一帮。
“今年不说别的，洋人的船来得都少了许多。”吕姥也抱怨道：“我听说，洋人里有个国家叫法兰西的，成天和其他洋人打仗，这仗打得，洋人现在都不敢来这边做买卖了，说是南洋也有法兰西的船，随时能阻截他们。这国内生意做不得，洋生意也做不得，来年若不能寻个大宗买卖出来，只怕时日久了，人心生变啊。”在此之前三年，即阮元南下成为浙江巡抚的那一年，拿破仑在法国获得军政大权，随即与欧洲其他国家作战，屡战屡胜，也在这一年春天定下了《亚眠和约》，第二次反法同盟便告结束。但各国往来广州的商船也因战事之故，一时减少了很多，虽有和约仍不能复原。而且半年之后，和约便被撕毁，第三次反法同盟成立，欧洲对中国的通商情况一直难有起色。