天保七年（556年）五月初五日，高纬出生于晋阳长广王府邸。高纬容貌俊美，其父长广王高湛对他特别爱宠，封他为长广王世子。
皇建二年（561年），高湛即皇帝位，是为武成帝。太宁二年（562年）正月十四日，武成帝册立高纬为皇太子。
河清元年（565年）三月，因有彗星出现，太史官奏称是除旧布新之象，当有新帝出现。
天统四年十二月初十（569年1月13日），武成帝高湛逝世。
高纬下令天保七年（556年）以来，凡是家庭因受到牵连而获罪被流配的，各地应该让他们返回家乡。
武平元年（570年）六月二十二日，因为皇子高恒出生的缘故，大赦天下，朝廷内外百官，都进升二级官职。
武平二年（571年）秋七月二十五日，琅琊王高俨假托诏令在南台杀死录尚书事和士开。
武平三年（572年）春正月二十六日，高纬在南郊祭祀。
武平四年（573年）夏四月二十三日，高纬任命兰陵王高长恭为太保，南阳王高绰为大司马，太尉卫菩萨为大将军。
武平五年（574年）春正月初四，高纬设置左、右娥英各一人。
武定七年（549年），高延宗的父亲高澄去世，当时高延宗年幼，便由其叔父文宣帝高洋抚养。天保六年（555年），高延宗当时已经十二岁，却还经常骑在叔叔文宣帝的肚子上。
河清三年（564年），高延宗的四哥兰陵王高长恭在邙山之战中大败周军，凯旋回来后，自己陈说阵势如何，诸位兄弟都叹其雄壮。
天统二年（566年），高延宗的三哥河间王高孝琬被他的九叔武成帝高湛杀死，高延宗得知后痛哭不已。
武平三年（572年）八月，高延宗被任命为大司徒。武平四年（573年）四月，高延宗又被任命为太尉。
武平七年（576年）十二月，在平阳之战中，高纬亲自率军征战，命令高延宗率领右军先与