不知何故，林老太爷因其自小由福建侯官(今福州）迁至浙江，却总以为自己是林则徐的后代。虽家谱无从查考，但老太爷确实常有手捻胡须深思熟虑的大家气象。
世恩年幼尚不懂事，但总觉得父亲好象比祖父更有主张。父亲当时已做了镇上最大宅户黄府的管家，实际上就是黄家的账房先生，专门为黄家打理进帐出帐。世恩自小就喜欢偎在父亲的膝头，听着噼里啪啦的算盘珠响。随着父亲的算盘珠响过，世恩就会知道黄家虽然非常阔气，但他们的支出也是很大的，用父亲的话来说，出出进进，只是忙活了这个算盘珠了。每逢算盘珠响过一阵，父亲便会抒发一阵他的人生感慨，也不管世恩是否能听得懂，诸如：“千算万算不如天算”，“庄稼不收年年种”，“生年不满百，常怀千岁忧”等等，这些话比起祖父的“彩云易散月常亏”，“断送一生憔悴，只需几个黄昏”的诗文断句，却要来得简单易懂些。
世恩八岁那年，母亲过世。第二年，父亲过世。上苍仿佛专与林家过不去，总是单单留下一根弱弱的独苗。剩下一个世恩在黄家，叫人好不怜惜。但没有想到，世恩自留在黄家后，却从此交了好运。
开始，黄府是收留世恩做黄家子孙辈的伴读，虽说吃住皆在下人处，但世恩在东家的眼里却分明是另一种待遇。因为在黄家的这些小辈里面，还没有一个人能够像世恩一样聪慧，听话。与大清朝廷有着血脉关系的黄宅虽金山银山，儿孙满堂，却没有一个在读书上有长进的。听佣人们说，这是因为黄家的男人太贪色，妻妾成群，劳累过度，留不住精气神，生养的后代都欠些造化。独独林世恩这个单传的孤儿，却像是造化独自点拨过的，能够过目不忘，出口成章。话语之间也朗朗顺畅，很是得体，很得私塾先生的喜欢，每每要拿了世恩去和黄家的子孙们做比较。于是，喜好舞文弄墨的黄家老太爷早早将世恩收为义孙，并将最宠爱的黄宅中最小的孙女冬儿许配给世恩，也不管其时冬儿年仅两岁，比世恩足足小了十岁。
以后的事便顺理成章了。