吴建东这种彪悍的行为方式，让他很快在道上就有了名气，不过却没给他带来好运，他的老大也开始将他晾在一边，不给他安排有油水的活，为什么会这样呢？
因为当时的香江，社会已经走上正轨，之前那种黑白勾结的行为遭到了廉政公署的严厉打击，帮会没了保护伞，纷纷开始转型做正当生意，大家都在洗白自己。所以就算帮会之间有点什么摩擦或者矛盾，那也是先谈判，谈不拢也只是动动刀罢了，像吴建东这种一言不合就开枪的行为，是有很大的风险的，很容易被警察盯上，而且那个时候港英当局也开始管控枪支，个人已经不允许持枪，老大可不想因为他受到牵连，到时候再受到当局打击就麻烦了。
从那之后吴建东就吃起了闲饭，当然闲饭并不好吃，一时之间他就处在了很尴尬的位置，好活没他的份，只能眼睁睁的看着其他兄弟分钱吃肉。
这样的日子，吴建东显然是受不了的，他觉得香江的黑帮，都是一群成不了气候的人，只会咋咋乎乎的，不敢动真格的。而香江的警察比较擅长抓小贩，能力很是一般，他根本不怕。于是坐了一段时间的冷板凳后，吴建东决定给自己干，不去看这些人的脸色。
脱离帮会后，他开始在香江各个繁华闹市转悠，熟悉这些地方的钟表店和金店，并观察周围的地形路线，他已经为自己要做的大事做前期的准备了。到了一九八一年，吴建东已经将香江闹市区的情况摸了个遍，觉得时机成熟了，但是要做大事光凭他一个人是不行的，虽然在香江也有一些熟人，但都不是那种值得信赖的，于是他又返回广州，找了一帮自己的兄弟，还是和上次一样，请这帮哥们去了最好的饭店，大吃大喝了一顿！
就在众人酒足饭饱的时候，吴建东问大家：“你们觉得今天这顿饭如何？”
“好，太好吃了，吃得太过瘾了！”众人纷纷附和道，
“你们想不想天天过这样的日子？”
“当然想啦，能过上这种日子就是让我去死都愿意啊”，众人趁着酒劲嚷