不久后，刘渊听说司马颖离开了邺城，长叹一声道：“不听我的话，少有不顺就自己逃散了，真是个奴才胚子。可是我和他有约在先，不能不救他。”于是，准备出兵攻击鲜卑和乌桓。刘宣反对说：“晋人把我们当奴隶一样对待，现在他们骨肉相残，这是老天厌弃他们而让我们恢复呼韩邪单于的事业。鲜卑、乌桓和我们同气相求，可以互为援手，干嘛去攻打他们？”刘渊称赞说：“你说得对。不过大丈夫应该做汉高祖和魏武帝那样的英雄，呼韩邪不值得效仿。”刘宣等人俯首下拜：“大单于的气魄不是我们这些人能赶得上的。”
其后，刘渊迁都到左国城。胡人和汉人来投奔他的人越来越多。刘渊对群臣说：“当年汉朝拥有天下绵长久远，和百姓们恩义相结，老百姓内心对汉朝还有怀念。我是汉朝的外甥，匈奴和汉朝约为兄弟，哥哥不在了，弟弟继承哥哥的天下，不是理所应当吗？”于是建立国号为汉。刘宣等人请求刘渊登基称帝，刘渊说：“现在四方动乱还没有平定，可以按照汉高祖当年的例子，建号汉王。”于是昭告天下，即位汉王，改元元熙，大赦天下。追尊安乐公刘禅为孝怀皇帝，设立汉朝三祖、五宗的神位来祭祀。立他的妻子呼延氏为王后，任命刘宣为丞相、崔游为御使大夫、刘宏为太尉、范隆为大鸿胪、朱纪为太常、崔懿之、陈远达为黄门郎，族人的儿子刘曜为建武将军。
刘曜，出生后眉毛就是白的，眼睛里有红光。从小就很聪明，胆量过人。自幼父母双亡，被刘渊抚养成人。长大以后，身材魁梧、仪表堂堂，为人光明磊落、出类拔萃、与众不同。喜欢读书、落笔千言，而且弓马娴熟。能开三百斤硬弓，一寸厚的铁板可以一箭射穿。他自己常常自比为萧何、曹参，当时的人都不认可。只有刘聪特别器重他，他说：“刘曜是汉光武帝和魏武帝一类的人物，萧何和曹参怎么能比得上他。”
刘渊派刘曜进攻太原，先后夺取了泫氏、屯留、长子、中都。又派冠军将军乔晞攻下了介休。介休令贾浑宁死不降，被乔晞杀了。乔晞见