祖官居从六品，相当于个知县了。所以，他也能三妻四妾、车迎轿接。
富贵人家也有苦命人，郑衡虽生在这样一个家庭，但他排行老四，上面还有三个哥哥。宫廷魔术师只有一个，郑念祖如果死了，儿子中也只有一个能继承父亲的衣钵，入宫任职。
不管父亲如何挑选继承人，也不会挑到郑衡头上。郑衡一出世母亲就死了，而且母亲生前在家中也没地位，父亲正眼也不瞧郑衡一下。
没娘的孩子没人疼，连下人都敢欺负他。郑衡一出世，就交由一个姓陈的奶妈抚养，这奶妈待他很苛刻，立下种种规矩，动不动就对他呵斥打骂。当着别人的面，一个下人当然不敢欺负主子，但郑衡稍稍惹得她不如意，回到厢房，关起门来，就死命地掐，往往掐得郑衡身上青一块紫一块的。
所以，郑衡成了郑家最乖的一个儿子，到哪都不敢吭一声气。
唐高宗李治驾崩前，临终遗诏：太子李显于柩前即位，军国大事有不能裁决者，由天后决定。四天以后，李显即位，是为唐中宗，尊武则天为皇太后。光宅元年二月，李显打算任命韦皇后之父韦玄贞为侍中，宰相裴炎力谏，李显生气地说：”朕即使把天下都给韦玄贞，又有何不可？还在乎一个侍中吗？”武则天以此为借口将李显废黜为庐陵王，并迁于房州。立第四子豫王李旦为帝，是为唐睿宗，武则天临朝称制，自专朝政。
郑衡八岁那一年，唐睿宗和亲，将一位公主嫁给吐蕃，吐蕃使者到皇宫来迎亲，唐睿宗特召郑念祖入宫表演魔术。也是唐睿宗一时高兴，允许在京七品以上官员可以携家眷入宫参加盛宴。
于是，郑念祖带着四个儿子入了宫，儿子的母亲也跟着。郑衡没有母亲，郑念祖就让陈氏跟着。
入了宫，奶妈陈氏却一反常态，对郑衡怂恿起来，说难得来一趟皇宫，叫郑衡到处逛逛。
郑衡哪里敢？站在那里没动。陈氏就悄悄地在他屁股上掐了一把，痛得他眼泪直打转。没办法，他只得被陈氏拽着，被动地跟着陈氏走。