客随从，也开始一天比一天作威作福。
国王心里有些疑忌畏惧他。这时国内有人上表说：“天象表现出谴责的征候，国家将有大灾，首都要搬迁，宗庙要毁坏，祸由外姓人引起，祸患将由内部发生。”
当时的议论都是独孤牛奢侈过度的反映，于是就撤销了独孤牛的卫士，禁止独孤牛交往，软禁在家。
独孤牛倚仗着镇守南槐郡多年，一直没有不良的政绩，流言引起责备和混乱，使他闷闷不乐。
国王也知道这些，因而传旨给独孤牛：“我们结成姻亲有二十多年，不幸玉叶公主短命早死，不能与你白头偕老，真令人悲痛伤心良久，所以王后要留下外孙亲自抚养他。”
又对独孤牛说：“你离家很久了，可以暂时回家乡，看望亲戚，几个外孙留在这里，不要挂念，三年后，让他们接你。”
独孤牛说：“这里就是我的家，怎么还要回家呢？”
国王笑着说：“你本来在人世间，家不在这里。”
独孤牛忽然觉得像在昏睡，糊里糊涂的很长时间后，才想起以前的事，于是流泪请求回到人间。
国王依依不舍，左右的人送独孤牛走，独孤牛拜了又拜才走。
此时又见先前那两个紫衣使者跟随着，到大门外，见乘坐的车子很破旧，左右支使的人和车夫仆人，竟无一人，心里非常惊叹。
独孤牛上车走了大约几里地，又走出大城门，很象是从前东来时的道路，山川和原野，仍然象从前一样。
送他的两个使者，一点威力权势也没有，独孤牛心里更加不高兴。便问使者：“我们什么时候能到？”
两个使者依然如故地歌唱着，好久才说：“一会儿就到。”
不久出一洞穴，就看见自己的身体躺在枕着鞋子倒在大槐树下南墙边，独孤牛非常惊慌害怕，不敢近前。
两使者就大声呼叫独孤牛的姓名好几遍，独孤牛才醒悟如初，猛然坐起身来，此时只见张弛与笑破天两桌人都在喝酒未散。