柴荣屡攻寿州不下，难免有些心焦气燥，柴荣命人涡口（涡河与淮河的交汇处，在今安徽蚌埠涂山附近）建造浮梁，准备过河去扬州，寻找唐军主力决战。随军的宰相范质哭劝柴荣：“大军坐守淮南，已历数月，军心浮燥，长久如此，于军不利。希望陛下休整一下，然后再来不迟。”
柴荣也不是知进不知退的人，能屈能伸才是大丈夫本色，越王勾践卧薪尝胆、生聚教训二十年方才灭了夫差。柴荣考虑了一下，同意撤军。在涡口设立“镇淮军”，留下李重进继续攻打寿州。显德三年（公元956年）五月，柴荣率禁军回到汴梁。
七月，湖南长沙的周行逢灭掉了岳州刺史潘叔嗣，成了湖南的第一把手。周行逢向柴荣称臣，柴荣现在还管不到湖南，就封周行逢武平军节度使，总管湖南军政。
柴荣回师之后，还留在淮南的周军将士们见皇帝走了，反正没人管了，开始撒起欢来，各部主将纵容士兵四处掠劫百姓财物，淮南人民大失所望，也不做“大周顺民”了，跑到山上或湖边，聚众自守。周军不高兴，赶来征剿，居然被这些老百姓给揍肿了脸。
唐军看到形势有所好转，立刻北上攻取前先被周军夺去的州县，没多久，舒州、蕲州、和州（今安徽和县）等地均被唐军收复。周军在上奏柴荣请求撤出扬州，全力围攻寿州，得到柴荣同意后，周军撤出扬州，转向寿州。这次周军将士们做了回好人，没再敢临行前再发“百姓财”，淮南一带的百姓得知周军“重新做人”后，自然放下心来，纷纷向周军献出粮食。
屋漏偏逢连夜雨，显德三年（公元956年）的七月，柴荣的第二任妻子符氏病故，柴荣哭的死去活来，追谥为宣懿皇后。
唐军打了几个胜仗，心气也高了起来，纷纷要求北上和周军决战。大太师宋齐丘摇头说道：“我们不被柴荣吃了就是万幸，别招惹柴荣了。而且我们给周军一分面子，周军自然会感激我们，寿州之围也可不救自解。”李糊涂惯了，居然同意了，让各地唐军据守不战。寿州的刘仁