，蒋正中“不许还击”的命令出现恶果了！但，蒋正中仍是下令不许抵抗，只命令战地政务委员会外交处主任蔡公时立即去日军指挥部交涉，要求日军马上撤退。
就在双方交涉期间，蔡公时的交涉办公室却已经被日军团团包围，随后，日军暴力打开交涉办公室的大门，然后不由分说就把办公室里的电线、电话线全部剪断，切断蔡公时的交涉办公室与外界的联系。
大约在5月3日中午时候，日军突然对济南城的市民和军人展开屠杀！蒋正中听到消息后，就立即联系蔡公时，但此时却已经联系不上了。
此后，济南城的北伐军官兵不顾蒋正中的命令向日军开始反击，但此时在济南城的中日军队人数发生了微妙变化，此时日军依然还有六千多人，但能战斗的北伐军已经不足三万人了！
而，第六师团师团长福田彦助却派人对蒋正中说这是北伐军官兵先挑起的事端，要求北伐军立即停火，否则后果自负！一向惧怕日军的蒋正中听到后，当场表示在下午五点前所有的中**队离开济南城，同时要求日军在三天内撤离济南城。
福田彦助听到后蒋正中的口信后，表示同意蒋正中的意见，不过前提条件是北伐军先撤出济南城。蒋正中见福田彦助答应自己的要求，就松了一口气！随后，在3日下午两点钟左右，北伐军开始分批撤出济南城。而，日军却趁机占领济南邮政局和电报局。
日军并趁着北伐军撤退之际，借口北伐军驻守在广东会馆的一个团未能按时撤退，把这个团一千多人强行缴械，并当场枪杀不少人，随后将这一千多人押送至日本领事馆看押。而，不久之后，又有一个团受到日军包围，官兵大部被日军俘虏。
在3日下午五点多，蒋正中见一直联系不上蔡公时等人，就要派熊式辉去日军司令部商讨处理办法！而，就在此时，日军却用炮火把北伐军的电台、电话线等全部炸毁！
随后，日军强迫蔡公时等人签署此时冲突是由中国北伐军挑起了，但蔡公时等人拒绝签署！日军看到后，