日军在发动武装挑衅的过程中,大肆屠杀济南军民。下午,日军攻占邮政局、电报局。日本侨民中的“在乡军人会”成员,配合日军在街头大肆搜查、捕杀打散的中国官兵,洗劫中国商店,滥杀和平居民。在 5月3日这一天,被日本侵略者野蛮屠杀的中国军民即在1000人以上。尤其令人发指的是:日军践踏国际法准则,惨杀了中国战地政务委员会外交处长、山东特派交涉员蔡公时等。3日深夜,木庭大尉率日军包围了山东交涉署,借口日间两名日军士兵为署中人员枪杀,冲入搜查武器。在遭到蔡公时用日语严正抗议后,日军将其捆绑起来,用刺刀逼他跪下。蔡公时不屈,日军竟割下蔡的耳鼻,剥光衣服,肆意侮辱,终将蔡公时及其下属17人枪杀,并毁尸灭迹。交涉署仅有勤务兵张汉儒一人侥幸逃出虎口。日军惨杀中国外交特派员及其随员后,又转向中国外交部办公处行凶,勒令中国军队缴械。当时国民政府外交部长黄郛亦在济南,蒋介石即嘱黄就近交涉,不但毫无结果,黄郛随从护兵所携带的步枪26支亦被缴去,黄本人被强行扣留一天。面对日军制造的“济南惨案”,蒋介石采取了退让方针。5月3日深夜,蒋介石派高级参谋熊式辉与日军第六师团参谋长黑田周一交涉后,下令将中国军队主力撤出济南,仅留下第一军李延年团和第四十一军邓殷藩团担负警备。然而,日军并不肯罢手。福田彦助中将向东京报告,诬称中国士兵抢劫了经销《满洲日报》的日本商人,日军因护卫侨民,才引起武力冲突。驻济南武官酒井隆在向陆军省汇报时,把在战火燃起之后13名日本人死亡夸大为“有三百多名日本侨民惨遭杀害”。东京《时事新报》在头版刊登了陆军省发布的这条捏造的新闻,肆意煽动。福田还向军部谎称:南军在济南附近有4万人,“对我方所怀恶意逐渐增长”。他认为:“目前正是日本对南方进行断然惩处,以进一步解决中国问题之良机。”于是,田中内阁决定从关东军抽调第十四师团第二十八旅团增兵济南。陆军持强硬态度,参谋本部、陆军省共同拟定《对华方策》,宣称:这次济南事件是“中国人日积月累轻蔑日本人心理的具体体现”。要“显示皇军的武威,使全中国感到震骇”,根除中国轻侮日本的观念,“为在整个中国发展国运奠定基础”。该《方策》的主要意图是以武力占领济南附近地区和胶济铁路沿线要隘,然后看情况再移交外交谈判。在军事参议官会议审议之后,8日,田中义一主持内阁会议,决定采纳《对华方策》,并增派名古屋陆军第三师团开往山东。天皇裕仁迅即裁可。