袁天罡见李唐三兄弟都是普通之人，无非机缘巧合恰巧成事罢了。李世民还不是贪恋美色，跟他父亲李渊一样的货色。他这么一想，便有了离开京城之意。加上他毕竟也是脱不了俗之人，有点思念吕家庄吕莹那如花如玉的面貌，温柔乡的滋味还是忘不了，更添了几分回乡的念头。
袁天罡跟刘小丽一商量，说这里几股势力较劲迟早会有各种乱事发生，刚好趁刘小丽肚子不是甚大，还能走动，不如回乡下庄园安居养胎。
“相公，万事你做主，我听从你的安排。”刘小丽说道。
“那好，这几天你命人收拾一下，我们这就先回吕家庄。”袁天罡说道。
天玑府内此时美女和家仆众多，李唐有些金银珠宝不时相送，这才维持了下来。现如今袁天罡要走了，跟李世民送的那几个美妾一说，“我要回乡下一段时间，你们愿随我走的可以走，留下来的，我给管家有些金银珠宝，你们在这里安稳度日一段时间是没问题的。”
众女子听了，有的想跟随，有的不愿去乡下。袁天罡也不多说，愿跟的就让她们跟着，不愿跟的就让她们留在府内。
为了她们生计着想，袁天罡跟在京中开米铺和布庄等的青衣门弟子吩咐了，让他们偶尔跟府中管家联络，提供一些日需品到府中，这才安心地离开了京都。
春香被袁天罡禁止出府了几日，等李世民得到她的消息，袁天罡已经离府多日了。袁天罡也不是官府中人，他不告而别也是正常。李世民听闻他只是回乡下见亲人，也觉得是情理之中的事情，所以也没有多想什么，也不派将士追赶。
刘文静倒事先得到了袁天罡的告知，被问他要不要跟随刘小丽而去。刘文静已在李唐做官，跟李建成走得颇为相近，便回答身在朝中，已身不由己了。袁天罡见他这么回答，也只是微微一笑，没有更多话语，告辞出了门，回了天玑府。
刘文静被问得有点莫名其妙，心想自己莫非在李唐会有祸端？要不袁天罡为何特地登门来邀自己