赵勇作为一个沙场老将如何不知道撤军过程的艰难，一个不小心便会导致功败垂成，全军覆没，所以他在回军的过程中一直保持着警惕。离开辽阳城时他便以获知共有两支金军前来，因此撤军时他命令将城中青壮不论是何出身和被虏至此来投的汉人近十万人全部带走，老弱从城中驱逐，而那些在城破之时未能逃离的女真贵族官员不肯投降者尽数屠戮。
再一个辽阳城经过历朝统治者数百年的经营已经成为一座辽东重镇，不仅人口众多，经济发达，而且是世俗的文化中心，那些僧侣、士人、知识分子、乃至商人、手工艺者、各色工匠等成为这座城市及附近州县的文明传播者和各行业的精英。一个国家可以失去众多的官员，但是失去这些精英后即便得以重建，那也是座死城，经济文化要倒退数十年，甚至百年，这等于将城池的魂给带走了。
这种手段导致无数人家破人亡，骨肉分离，看似有违人和，甚至十分残忍，却可以大大减轻留守部队的压力，使他们不必担心城中发生内乱，专心对敌。另一方面这也是以其人之道还治其人之身，效仿金军在燕京城所为，将人口全部掳走，使其成为一座空城，而没了人气的城池用不了几年便会不可避免的衰落。
驱使如此多的人口在敌国千里转移无论对谁都是个难题，好在赵勇在西北和大同有过相似的经历。他将虏获的人口分成两大部分。汉人由宋军看管，女真人及渤海、契丹、奚人等族由五国部军押送，利用他们对民族的认同感减轻对宋军的敌意，同时也便于交流，减少途中的麻烦。
撤退中赵勇很快便发现身后吊着根尾巴，像狼一样不声不响的跟着甩也甩不掉，他便采用隔队撤退，交替掩护的方式行军，严加防守，防止敌军突袭。但几日后敌军除了跟随并没有任何动作。赵勇虽然不知道兀术给完颜彀英的命令和他们所想。但是作为一个久经战阵的老兵，他十分清楚这么多人口和财物在任何一支军队眼中都是一块肥肉，不会轻易舍弃。
随着金军开始频繁袭扰，让赵勇有了‘