不韦回到邯郸时，子楚已成了正式的王太孙。不韦也被任为他的师傅。他们成功之后，不免用美人醇酒来庆祝一番。邯郸在战国以美女著名。不韦的爱姬，尤其是邯郸美女的上选，妙擅歌舞。有次她也出来奉酒，子楚一见倾心，便要不韦把她相让。不韦气得要死，但一想过去的破费和将来的利益，只得忍气答应。赵姬既归子楚，不到一年（正当长平之战后一年），产了一子，即是后来做秦王和秦始皇帝的嬴政。当时传说，赵姬离吕家之时，已经孕了嬴政。但看后来不韦所受嬴政的待遇，这传说多半是谣言。
嬴政于前246年即王位，才十三岁。这时不韦是食邑十万户的文言侯，位居相国；他从前的爱妾，已做了太后，并且和他私续旧欢。不韦的权势可以想象。他的政治野心不小，他招贤礼士，养客三千，打算在自己手中完成统一的大业。但嬴政却不是甘心做傀儡的。他即位第九年，太后的姘夫嫪毐在咸阳反叛，他用神速的手段戡定了乱事以后，乘机把太后的政权完全褫夺；并且株连到吕不韦，将他免职，逐归本封的洛阳，过了两年，又把他贬到蜀郡。在忧忿夹攻之下，不韦服毒自杀。
不韦以韩人而执秦政，他所客养和援用的又多三晋人，和他结交的太后又是赵女。这种“非我族类”的势力是秦人所嫉忌的。不韦罢相的一年（秦王政十年），适值“郑国渠”事件发生，更增加秦人对外客的疑惧。郑国也是韩人，为有名的水利工程师。韩廷见亡国的大祸迫在眉睫，派他往秦，劝秦廷开凿一条沟通泾水和洛水的大渠，借此消磨秦的民力，延缓它的对外侵略。这渠才凿了一半，郑国的阴谋泄露。其后嬴政虽然听了郑国的话，知道这渠也是秦国的大利，把它完成，结果溉田四万多顷，秦国更加富强；但郑国阴谋的发现，使秦宗室对于游宦的外客振振有词。嬴政于是下了有名的“逐客令”，厉行搜索，要把外籍的游士统统赶走。这命令因为李斯的劝谏而取消。但不韦自杀后，嬴政到底把所有送他丧的三晋门客驱逐出境。可见逐客令是和不韦有关的，也可见不韦的坍