离。陆炳也是为了自己的地位，还有将来子孙的富贵，才开始有意无意地和吕芳保持一定的距离，甚至于在一些事情上提出不同的意见。
吕芳和陆炳的第一次正面冲突，发生在嘉靖皇帝朱厚熜当政的十二年。嘉靖皇帝朱厚熜认为大局已经收到了控制，为了便于管理，决定收回锦衣卫的权力，还归司礼监管理。但是司礼监掌印太监已经换上了吕芳，吕芳已经控制了司礼监，无论谁出任兼管锦衣卫的司礼监秉笔太监，都不会受到影响。嘉靖皇帝朱厚熜想把陆炳安排到更重要的位置，帮陆炳实现出将入相的梦想。吕芳事先知道了一点点，以为陆炳也会同意嘉靖皇帝朱厚熜的决定。没想到陆炳不但没有答应嘉靖皇帝朱厚熜的决定，而且希望嘉靖皇帝朱厚熜彻底将锦衣卫从司礼监分离出去，单独成立一个只属于皇帝一个人直接领导的部门。嘉靖皇帝朱厚熜一时想不过来，吕芳却知道了陆炳的意思，陆炳想让锦衣卫和司礼监分庭抗礼，这样一来不要说东厂了，就是司礼监寄过来也或许会受到锦衣卫的牵制。这是绝对不可能的事情，作为司礼监掌印太监，吕芳也绝对不会不允许这种事情存在和发生。嘉靖皇帝朱厚熜没有表态之前，陆炳和吕芳已经为了这件事情在嘉靖皇帝朱厚熜面前吵了起来。三个人第一次同时觉得三个人一条心的时代过去了，嘉靖皇帝朱厚熜对吕芳和陆炳很失望。吕芳也看出了陆炳的野心，还有陆炳想完全控制锦衣卫的用心。为此所有的安排无限期被搁置，锦衣卫依然在陆炳手里，司礼监一样有权力监管锦衣卫。因为陆炳没有交出锦衣卫的实权，所以所谓的兼管锦衣卫的司礼监秉笔太监只是一个有名无实的虚名。也因为这样，陆炳想出将入相的梦想，一直没有实现。
陆炳在锦衣卫一呆就是三十多年，势力盘根错节，可以说是完全控制了锦衣卫。不但陆炳长期出任锦衣卫最高指挥官，就连陆炳的兄弟还有儿子们也都在锦衣卫。吕芳多次提醒陆炳，不能这么明目张胆的做，可是陆炳一点也听不进去。后来导致除了陆家之外，就连宫里的太监也指挥不动锦衣