三郡招贤纳士。不料，当年十二月，曹操在赤壁被孙、刘两家联手击溃，玄德也趁周瑜与曹仁交战之时，占领了武陵、长沙、桂阳、零陵四郡。刘巴不能回到曹操身边复命，自己又不愿意在玄德麾下任职，于是便想办法逃至交州，然后再辗转回到曹操处。当时孔明在临烝县居住，负责调整长沙、桂阳、零陵三郡赋税，以资军用。刘巴曾经给孔明写了一封书信，其中这样言道：“刘巴踏上危程，历经艰险，本来是想上承天意，下顺民心，让荆州各郡都归顺于曹丞相，以便于汉室天下可以重新统一起来。可是许多人盲目看重道义以及所谓的正统，其实都是出于考虑自身利益，这些已经不是我的智谋所能够规劝的。既然我在此没有什么作为，便就此浪迹天涯，乘舟游荡大海，再也不管荆州之事了。”孔明看到此书，连忙写了回信，其中言道：“刘皇叔现在已经占据荆州大部分土地，兵将以及百姓无不归心所向，天意人事到底是非如何，已经十分清楚。子初先生有雄才大略，正是英雄拥有用武之地，不知道您还想去往何处呢？”刘巴回书道：“刘巴受曹丞相的指派而来到长沙郡等地，如今不能成功回去复命。刘巴出走荆州是理所当然的，孔明先生又何必再过问呢？”于是刘巴来到了交州的交趾郡，可是后来刘巴又与交趾郡太守士燮意见不合，随即经由牂牁道进入益州，投奔至刘璋手下任职。
刘璋见刘巴这般劝阻自己，便道：“可是我们兄弟之情如何能废？”
刘巴进言道：“刘备素有英雄之名，岂会甘心辅佐于主公身边？长久下去，刘备在益州必然会造成祸端。”
刘璋闻言，眉头一皱，道：“这个嘛……”
黄权上前道：“主公可以不怀疑刘备的本意，但是也不能轻易将益州让与他人。先公建立益州几十年的基业并非易事，还望主公能够接受我等的建议。”
刘璋低头思索许久，最后道：“诸公这般劝我，不能不听。可是兄长相借军马、钱粮，又不能不借。我便派法正、孟达带领普通军士四千人，战马一千匹，军粮一万斛