30日夜,军阀张宗昌北逃。革命军于5月1日开进济南。2日上午蒋介石进驻省督办公署。两个半小时以后,日本陆军中将福田彦助率领第六师团增援部队接踵而至。日军在济南商埠区擅自划定东西两个“守备区”,其中一马路、三马路和纬一路、纬三路之间为东守备区,二马路、六马路和纬六路、纬十路之间为西守备区。各守备区都在街道交叉口堆积沙包,设置活动电网,日军守兵则实弹瞄准马路上的中国军民。这样,在济南出现了日军和中国军队对峙的局面。
蒋介石意在继续北伐完成国家统一,不想开罪日本人,因此希望日本人能够罢手。他一面电示抵日秘密联络的张群:“请以公私之关系,要求其克日撤兵。”一面通过浪人恼信失疏通,允以负担日方军费为条件,劝侵入济南的日军先撤回青岛。
可是,日军早有预谋要制造事端。5月3日上午 8时,日本代理总领事西田畊一、驻济南武官酒井隆和天津驻屯军小泉恭次中佐一行拜会蒋介石,声称中国军队进入济南“军纪风纪都很好,很守秩序”,日军今天就要撤离济南,特来辞行。此举意在侦察城内中国军队有无作战准备,同时麻痹蒋介石,使之不加戒备。当“辞行者”离开总司令部不久,日本军队就发起了进攻。午前9时许,一名徒手的中国士兵途经日军擅自圈划的“守备区”,日军将其击毙。一位中国士兵在南魏家庄粘贴宣传标语,日军出面无理阻挠,双方争执中,大队日军蜂拥而至,并开枪射击。随后,日军向驻扎在纬一路广东会馆的革命军贺耀祖部第四十军第三师第七团的两个营发动攻击。这时恰逢第七团的团、营长都去师部开会,群龙无首,突遭袭击,以致未能进行有组织的抵抗,因而损失惨重,大部分被日军俘虏和缴械。10时以后,日军以大炮轰击中国军队驻地,驻济南商埠的革命军第四十军第三师主力和方振武部四十一军第九十二、九十三师被迫还击。因九十二师为济南卫戍部队,预先作了战斗准备,因而对于日军的挑衅进行了顽强的反击。日军受革命军优势火力压制,躲在工事后面抬不起头来。本想靠偷袭吓退革命军的日军福田彦助师团长,看到形势转向于己不利,于是改变办法,让日本参谋本部派遣到国民革命军中担任联络参谋的间谍佐佐木到一中佐进城,恐吓蒋介石下令停火。蒋介石本无意与日军冲突,因此立即接受了佐佐木到一的要求,派传令班打着命令停火的白旗,阻止革命军向日军射击。