组成了石头城的城墙。而更令人瞩目的是，岩壁上尽是些长年风化、砾石剥落的痕迹，中间还交杂有紫黑相间的岩块，远看隐约可见耳目口鼻，酷似一副面目狰狞的鬼脸。士卒们头一次见到这种模样的城池，不禁泛起嘀咕，还以为其中有鬼神作怪，暗地里又把石头城叫做鬼脸城。
在周不疑命令下，汉军环城大起土山数十座，日夜不息堆填土石。然而清凉山土质多石少土，士卒们挖掘起来，时不时便会碰大石，不仅挖掘不动，还往往会损坏锄镐，这导致填山一事事倍功半，进展极慢。与之相比的是，吴人早把山上林木砍伐一空，而后在墙上用木头搭建了许多简易的箭楼，如今更专门夹在土山两侧各搭箭楼，高高在上俯视下方土山。汉军费力地拖运土石至土山时，吴人密集的弓箭手就从两侧的箭楼向下攒射。乱箭从两边交叉如雨而下，汉军不能仰视。如此数日下来，汉军还没有将土山堆平城头，就已经有上千伤亡。
等到终于有土山与城墙齐高时，汉军尝试着向城内发起攻势，结果伤亡更加惨重。吴军在石墙间留有孔洞，等汉军靠近城头，他们便从孔洞间伸出钩镰，从下往上专门去割汉兵的腿，汉卒们往往吃痛不住，还没上城便跌落下去。即使有少数侥幸登上城埤者，被城头守军蜂拥围攻，霎时死伤殆尽，根本无法立足。
更倒霉的是，刘燮离开以后，江南气温略有回升，霰雪变为冬雨，连日不息。在这种情况下，汉人仍冒雨强攻。哪知多座土山相继崩塌，汉人坠落填满土中，死者不计其数。
起土山的同时，周不疑也令人挖掘地道，准备穿透城内。在许多土山因被雨而垮塌后，地道也慢慢延展靠近了城墙根。但吴军对此也早有准备，早在建城之时，吴人就环绕墙根挖了一道很深的沟堑，续上了雨水，形成一个在城内环绕的内城河沟。沟内的水可以用做抵抗敌人的火攻，而汉军的地道一旦挖穿，水就会倒灌进入地道。不仅讲地道内的汉兵尽数溺毙。也多亏了土山坍塌，才导致周不疑终止了地道作战的计划，否则后果不堪设想。