单老爷到底是当地土生土长的士绅，寻思着人不亲土亲，便同意了佃农的央求，派老大单雄仁带人去将意见告知众佃农。老二单雄义从老大那得知了消息心里大怒，跟老大抢过差事再把老大安抚在家里，然后拉了三个弟弟同去，花了一笔钱，纠合当地的一群地痞无赖去众佃农家收租，一个铜板不能少，而且必须当天把佃租全额缴上，有不交者或交不足额者当场一顿棍棒伺候。
有十几个拿不出钱的佃农被当场打死，过半被打得重伤，小半佃农只因交钱慢了仍免不了一顿狠揍。众佃农本来还指望着官府会放粮赈灾，可苦苦等了一个月，官府却无半点表示。佃农们再无半点希望，最后流离失所远走他乡，而关中单家对付佃农的残暴行为亦传遍了中原。
过了一年，旱灾过去了，可是却再也没有人肯租借单家的田地了。这单家里老二单雄义好赌如命，老二、老四单雄智及老五单雄信每天跟一群地痞无赖混在一起嬉戏玩乐，老三单雄礼时常上青楼嫖妓。
一家人只有单老爷和老大下地干活，维持家庭开支，不到三个月，家里的积蓄已是告罄。再过了三个月，那群曾被请托去催收佃租的地痞无赖找上门来，说是老二在外赌博欠了他们上万两白银，说着拿了一大堆借据递给单老爷。单老爷看完把借据往桌上一扔，直气得七窍生烟，只说家里没有钱财了，只求一个和平解决之道。
那无赖头领像是个走过江湖的，当下哈哈大笑一声，对单老爷道：“念在几位公子往日与我等颇有交情，我们也不为已甚，只要把贵府所有宅邸和田地用以抵账即可，宽限尔等三天时间，去府衙办妥转让手续。三日后午时在下会带来借据来交换地契。“说罢从桌上抄起借据带着众弟兄扬长而去。
单家众人都知道用所有宅邸和田地抵债一万两是吃了大大的亏了，那无赖头领又像是一个混江湖的，即使对方在赌局中使了老千，可也无法抓到他的把柄。退一步再想，混江湖的人肯定都是会武功的，这样的人惹不起，思来想去还是走为上策。于是遣散奴仆