王小乐是父母最小的儿子，他出生在新中国最为贫穷的年月，他有一个哥哥叫王大乐，还有一个姐姐叫王小玉。姐姐前面本来还有一个哥哥，因病亡故了，因此，姐姐比哥哥小八岁，小乐比姐姐小三岁。
王小乐的家虽然住在县城，但他家也是一户少数民族的贫困家庭。新中国虽然建立了好多年，由于种种原因，那个时候，人们过的日子仍然很贫困。小乐出生后，家里贫困，少吃没穿的，他从小就是一个营养不良的孩子，长的瘦小，直到十六岁时，他才只有一米六五高的个子。
王小乐的父亲解放前参加了解放军，他所在的部队1952年参加了抗美援朝，1955年部队回国后来到了大西北，为共和国的核工业继续奋斗。
由于年龄的原因父亲到了转业时候，他到了转业的那一年，为了支持祖国西北军工企业的建设，组织动员他转业到青海一家国防企业工作，小乐的父亲接受了去企业工作。那个时候企业工人的工资普遍不高，虽然是国防企业，每月也就是四五十块钱的工资。
王小乐出生后，父亲只是在每年探亲时在家住上十几天，他长年在西北工作不能回家，家里就由母亲带着三个孩子生活。
小乐出生后，母亲视他为掌上明珠，虽然家里贫困，父亲每月除了自己生活外，省吃俭用，也只能邮回三四十块钱。母亲勤俭持家，全家过着基本普通生活。
王小乐的哥哥初中毕业后没有再读高中，在家呆了半年后，正好父亲单位招工，十七岁的哥哥随着父亲去了大西北。
哥哥走了后，家里只有母亲、姐姐和小乐三人生活。小乐父亲每月邮回的钱，只能够娘儿三个基本生活。母亲根本没有多余的钱做新衣服，她自己的衣服是补了又补，省吃俭用余下一点钱，只能给小乐的姐姐做一身衣服。因此，妈妈没有钱给小乐做新衣服，就将姐姐穿小了的衣服改一改给小乐穿，小乐从小就穿着姐姐的衣服长大。
小乐是父母的小儿子，父母虽然很爱自己的小儿子，但因家里太贫穷，小