１９３７年全国抗战爆发后，罗炳辉曾以八路军副参谋长名义，在八路军武汉办事处从事统一战线工作。１９３９年１月任新四军第１支队副司令员，５月任第５支队司令员，率部开辟皖东抗日根据地。曾指挥部队三打来安县城，沉重打击了“扫荡”、抢粮的日伪军。１９４０年任新四军江北指挥部副指挥兼第５支队司令员。１９４１年起任新四军第２师副师长、师长兼淮南军区司令员等职，率部转战于淮河以南、长江以北的津浦铁路两侧，积极开展抗日游击战争，为巩固和扩大淮南抗日根据地作出了重要贡献。他注意从严治军，言传身教，强化官兵的战术技术训练，全面提高部队战斗力。亲自编写了《指挥员实用手册》《民兵战术》等教材，并经常给基层指挥员上军事课。

１９４５年８月初，罗炳辉虽身患重病，仍亲临前线指挥所部参加大反攻，解放了苏皖边界的六合、定远、嘉山、天长等城镇。９月，任新四军第２纵队司令员，率部赶赴鲁南，参加界河伏击战，攻克韩庄，粉碎了国民党军从徐州沿津浦铁路北上、进犯解放区的企图。１９４６年４月，任新四军第二副军长兼山东军区副司令员。６月，在国民党军发动全面内战前夕，到枣庄前线指挥作战。２１日在返回临沂途经兰陵时突然病情恶化，不幸逝世。

罗炳辉用毕生的精力实现了自己的诺言：“人生最快慰的是真正勇敢地牺牲个人的一切利益，最热诚努力地为民族独立、自由、解放而斗争。尤其要为劳动大众的解放和利益，以真理、正义、公道为人类的幸福而斗争。”