抗日战争爆发后，叶挺满怀爱国热情，来到上海请缨杀敌、报效祖国。在上海期间，他偶遇周恩来，得知南方红军游击队将要改编。根据周恩来的建议，叶挺找到正在上海指挥作战的国民党第三战区前敌总指挥、老同学陈诚，表示愿意参加南方红军游击队的改编工作。他还建议改编后部队的番号为国民革命军新编第四军，以继承铁军的光荣传统。1937年9月28日，蒋介石任命叶挺为新四军军长。10月12日，国民党江西省政府主席熊式辉转发了蒋介石的命令，将南方游击区的红军游击队交新四军军长叶挺“编遣调用”。新四军的番号由此正式公布，这也就成为新四军成立的纪念日。

从一定意义上说，新四军是在民族利益高于一切、国共两党共同抗日救国的基础上平衡的产物。中国共产党是从抗日救国的大局出发，提出要将南方红军游击队拉下山进行改编，以便走上抗日救国最前线，实现直接对日作战，而蒋介石则是为了其统治的安宁和借对日作战来消灭异己。至于叶挺任新四军军长之职，也颇具戏剧性。蒋介石之所以任命叶挺为新四军军长，是因为他不能允许共产党派人来当军长，他想派人去指挥由红军游击队改编过来的队伍，共产党又不会同意；而叶挺已经脱离共产党达十年之久，可能会听他的话，可以利用叶挺来控制这支部队。中共方面则考虑，共产党的军队是由党绝对领导的，“不许国民党插进一个人”。但共产党的提名人选，蒋介石又不肯任命。叶挺虽已脱党，但他是北伐名将，最重要的是要摸清他的政治态度。张闻天、毛泽东发出电报，要求在南京的中共代表博古、叶剑英征求叶挺的意见，看他是否愿意恢复党籍。叶挺表示：“在党的组织之外，但愿在党的领导之下，坚决抗战到底。”叶挺也知道党中央的难处和对他不完全放心，又表示：“如果中共不同意，他可辞职。”10月15日，张闻天、毛泽东发出电报，在不干涉红军游击队改编后内部人事等条件下，才能同意叶挺指挥部队。19日，张闻天、毛泽东又电博古、叶剑英询问叶挺“是否可来延安及八路军总部接洽一次？”叶挺很高兴，愿意接受党中央的考察。11月3日，叶挺应邀到延安，受到党中央和毛泽东的热烈欢迎。中共中央领导人与叶挺谈话之后，中共中央决定同意叶挺担任新四军军长。8日，中共中央召开欢迎叶挺大会。毛泽东致欢迎词说：“我们为什么欢迎叶挺军长呢？因为他是大革命时代的北伐名将，因为他愿意担任我们的新四军军长，因为他赞成我党的抗日民族统一战线的政策，所以我们欢迎他。”叶挺在讲话中表示：“革命好比爬山，许多同志不怕山高，不怕路险，一直向上走。我有一段，是爬到半山腰又折回去了，现在又跟上来。今后，一定遵照党所指示的道路走，在党和毛泽东主席的领导下，坚决抗战到底。”这时，中共中央分局书记、南方三年游击战争的最高领导人项英到达延安，叶挺与项英（已内定为新四军副军长）在延安见了面。13日，叶挺先回到武汉，当天即以新四军军长的身份向《大公报》记者发表谈话，谴责日本帝国主义侵略中国的罪行。他表示：“我们受日本帝国主义的压迫，已经是忍无可忍，这一次出于不得已而抗战，我们只有一个字，就是拼。”1937年12月25日，叶挺和项英在武汉召开新四军军部干部大会，宣布新四军成立。