方各级衙门负责监管下级衙门，每一级衙门由主管负全责。就算最小的县级衙门，也有正八品县丞牵制正七品知县；知府衙门由同知牵制正五品知府；省里布政使、按察使分权，防止他们权力过大，不好管理。在中央内阁牵制六部，内阁的品级不高，但是代表皇帝制衡六部尚书，六部尚书严禁插手其他部门的事情，限制他们的权限。后来内阁的权利越来越大，为了防止内阁学士权力过大，设置了都察院牵制。都察院不但有“听闻奏事”的权利，更有监管内阁的职责。一旦发现内阁有问题，都察院可以直接奏报皇帝。为了防止都察院权限过大，朱元璋下过严旨，都察院的官员不但品级不能过高，而且不能插手政务，只有监管官员生活作风和道德行为的权利。用锦衣卫监督百官，有自己家的奴才监控文武官员。这就是朱元璋的功绩之一。后来明朝的皇帝发现锦衣卫的权利还是不够大，监督朝中官员不够，需要扩大到监控全国各行各业，包括军队以及边关的地步。为了防止锦衣卫欺上瞒下，皇帝宣布建立东厂，配合和监督锦衣卫监控天下。锦衣卫半公开地监督百官，东厂暗地里渗透到民间各行各业，甚至于化装成老百姓当兵，监控边关军事和军队管理。为了能够控制好东厂，皇帝用亲信太监直接控制东厂，允许东厂独立设置监狱，默许东厂可以独立审讯和处置所有嫌疑人。锦衣卫的“南狱”就算再嚣张，也算是半军事化的朝廷机构，东厂的监狱简直就是无法无天的地方。所以大家连监狱的名分也不承认，直接把它叫做“黑房子”。但是不管怎么称呼，这个监狱依然是明朝四大“天牢”之一，而且是最黑暗的一个。
四大“天牢”如果按大小来区分的话，刑部大牢是最大的，锦衣卫的“南狱”也就是“诏狱”第二大，大理寺的监狱，又叫“官狱”属于第三大，东厂的“黑房子”最小。但是实际上监狱的大小和名声并不一致，效率和职能来说也是不这么排名的。从名声上来说，大理寺的监狱第一，锦衣卫的第二，东厂的第三，刑部大牢最后。从办事效率来说的话，东厂第一，锦衣卫