8月25日,中共中央军委宣布红军改编为八路军,设总指挥部,朱德、彭德怀任正副总指挥。115师师长林彪,120师师长贺龙,129师师长刘伯承,全军编制4.5万人。为加强党对军队的绝对领导,成立前方军委分会,以朱德、彭德怀为正副书记。军委强调:“各师改编为国民革命军后,必须加强党的领导,保持和发扬十年斗争的光荣传统,坚决执行党中央与军委会的命令,保证红军在改编后成为共产党的党军,为党的路线及政策而斗争,完成中国革命之伟大使命。”中共中央在针对八路军领导权的同时,对新四军整编中的领导权也同样重视。叶挺担任军长的过程和新四军番号的由来就说明了这一点。广州起义失败后,叶挺流亡国外,“九一八事变”后到澳门居住。“七七事变”后,他结束流亡回到国内。“八一三事变”后,叶挺向蒋介石提出为了抵抗日本侵略,“让我来集合仍留在南方的红军和改编这些军队”的建议,并说改编后番号叫“新四军”。蒋介石接受了叶挺的建议,番号则得到了国共两党的认可。蒋介石认可“新四军”,是他任总司令的北伐军中有个第四军。毛泽东认可“新四军”,是他创建人民军队的第一个军是红四军。第一次国共合作北伐,北伐的8个军中第四军共产党员最多、战斗力最强。共产党员叶挺任第四军直属独立团团长。1926年8月下旬,在进攻湖北重镇汀泗桥和贺胜桥战役中,面对吴佩孚3万余精锐主力,叶挺独立团的2000多名勇士勇猛血战。1927年1月15日,武汉的粤侨联欢社将精心铸造的一巨型铁盾赠送给第四军将士。该盾正面中央铸有“铁军”两个竖写的大字,铁盾右上方题“国民革命军第四军全体同志伟鉴”。 因铁军“独负盛名、战绩辉煌”,朱德、毛泽东井冈山会师后的第一支部队合编为“中国工农革命军第四军”,成为中共第一军。叶挺提议把红军游击队改编为新四军,就是希望继承“铁军”和红四军的优良传统。
毛泽东虽认可“新四军”这个番号,但对叶挺改编南方红军游击队却不完全放心。因叶挺已不是共产党员,所以没有推选叶挺为军长人选,而中共推荐的其他人选,国民党反对。国民党随之提出由陈诚或张发奎指挥“新四军”,中共不同意。国共两党在南方红军游击队改编后由谁指挥这支抗日武装相持不下。9月28日,蒋介石突然单方面委任叶挺为新四军军长。在蒋介石看来,叶挺在国外过了10年流亡生活,已脱离共产党且失去了共产党信任,想乘机把叶挺拉过去,通过叶挺把红军游击队抓在自己手里。