1937年9月28日，蔣介石任命葉挺為新四軍軍長。10 月，葉挺到達延安。

1937年10月 12 日，國民政府軍事委員會宣佈南方8省14個地區（瓊崖地區除外）的紅軍和遊擊隊改編為國民革命軍陸軍新編第四軍（簡稱新四軍）。10 月，葉挺到達延安後由中共中央提名，經國民政府軍事委員會核定，相繼任命項英為副軍長，張雲逸、周子昆為正副參謀長，袁國平、鄧子恢為政治部正副主任。

1937年 12月25 日，新四軍軍部在漢口成立。

1938年1 月6日移駐南昌。軍部下轄4個支隊∶

第1支隊由湘鄂贛邊、湘贛邊、粵閩邊和贛東北紅軍遊擊隊編成，司令員陳毅，副司令員傅秋濤。

第 2支隊由閩西、閩贛邊、閩南和浙南紅軍遊擊隊編成，司令員張鼎丞，副司令員粟裕。

第 3支隊由閩北、閩東的紅軍遊擊隊編成，司令員張雲逸（兼），副司令員譚震林。

第4支隊由鄂豫皖邊紅 23軍和豫南桐柏山區紅軍遊擊隊編成，司令員高敬亭。

除第4支隊轄4個團外，其他各支隊均轄 2個團。全軍共1.03萬分人，槍 6200 餘支（挺）。

1938年春，新四軍各支隊向指定地區集中。第1、第3、第 2支隊先後於3、4月間到達皖南款縣巖寺地區集結。第 4支隊於3月中下旬集中在安徽金寨縣流波疃地區。至此，新四軍完成瞭集中的任務。

1938年4月5日軍部進駐巖寺。

自1937年9月至 1938年底，新四軍先後在南昌、長沙、武漢、重慶、福州、桂林和湖南平江、湖北黃安（今紅安）七裡坪、河南確山竹溝鎮等地，建立瞭 50 多個辦事處、留守處和通訊處，負責恢復和建立共產黨的地方組織，開展統一戰線工作，爭取各界對新四軍的支援。

1937年八·一三"事變後，日軍於11月12日攻占上海，12月13日占領南京，24日占杭州。國民黨第3戰區部隊敗退。

1938年5月 14日日寇占合肥，19日陷徐州。國民黨第5 戰區部隊敗退，長江下遊蘇、浙、皖地區大部淪為敵後。

但日軍由於兵力不足，隻能控制中心城市和交通要道，，廣大鄉村尚無敵蹤。

1938年 2月 15日、5月4日和 14日，毛澤東連續對新四軍發出指示，指出∶在目前最有利於發展的地區，還在江蘇境內的茅山山脈，即以溧陽、溧水地區為中心建立根據地;在茅山根據地大體建立起來之後，還應準備分兵一部進入蘇州、鎮江、吳淞三角地區，再分兵一部渡江進入江北地區;新四軍應以自己靈活堅決的行動，模范的紀律與群眾工作，在大江以南創立一些模范的遊擊根據地，以建立新四軍的威信，擴大新四軍的影響。

1938年4 月初，高敬亭率領第4支隊由金寨縣流波疃出發，於月底展開於皖中敵後的舒城、廬江、無為和巢縣地區。

5月12 日，第4支隊先頭部隊於巢縣蔣傢河口首戰告捷，殲敵20餘人。

在江南，由第1、第 2、第3支隊部分幹部和偵察分隊組成的先遣支隊，在粟裕率領下，於4月 28日由皖南巖寺出發，向蘇南敵後挺進，執行戰略偵察任務。

6月17日8時許，當日軍30 餘人乘5輛汽車由鎮江向句容行駛，進至韋崗（衛崗）時，斃傷日軍少佐以下 20餘人，擊毀軍車4輛。

在先遣支隊挺進蘇南之後，陳毅率第1支隊主力，張鼎丞率第2支隊主力，先後於6、7月間進入蘇南敵後，分別展開於鎮江、句容、金壇、丹陽和江寧、當塗、高淳、溧水地區，開始創建以茅山為中心的蘇南抗日根據地。

並乘日軍主力西進，後方空虛之際，積極開展遊擊戰爭，發揮我軍近戰、夜戰的特長，先後取得瞭新豐、新塘、句容、珥陵、高資、倉頭、小丹陽、永安橋、江寧、當塗等 100餘次戰鬥的勝利。

8月22日至 26日，日寇集中 4500餘人由秣陵關、溧水、當塗、采石、江寧等地出動，水陸並進，分八路圍攻小丹陽地區，企圖消滅新四軍第2支隊。新四軍第2支隊遂以主力蔭蔽在內線，伺機打擊日軍一路；以一部阻擊、襲擾敵軍後轉向外線，在第1支隊的配合下，襲擊敵之據點和交通線，迫敵回援，從而粉碎瞭敵軍的圍攻，殲敵50餘人。此後，新四軍第1、第2支隊又進行瞭祿口、水陽、橫山、官徒門、東灣、延陵等戰鬥，粉碎敵軍“掃蕩”20多次。

為策應新四軍第1、第2支隊的行動，譚震林率第3支隊於7月1日進入皖南抗日前線，在東起蕪湖、西至青陽、南迄章傢渡、北至長江的地區活動。同時，新四軍軍部也隨同第3支隊進駐徑縣雲嶺。

1938年10月30日日寇發起進攻。第3支隊以機動防禦與敵周旋，先後取得瞭清水潭、馬傢園等戰鬥的勝利，斃傷敵300餘人，迫使敵軍撤退。

1938年6月至10月，與江南相呼應，活動在江北的第4支隊主力，在合（肥）安（慶）、合（肥）六（安）公路沿線地區，采用伏擊、襲擊戰術，連續在無為以東運漕、桐城以南棋盤嶺、鐵鋪嶺和六安以東三十裡鋪等地作戰數十次，殲敵1000餘名，毀敵軍車150輛。

新四軍對當地的各種武裝，則采取區別對待的政策，團結、改造和發展抗日的進步武裝，堅持打擊反對抗日，投靠日偽的反動武裝。並大力摧毀偽政權，成立抗敵總會、抗戰動員會和抗敵自衛委員會等抗日組織。這些組織，後來逐步轉變為抗日民主政權。

新四軍成立以來，共作戰280餘次，殲敵3800餘人，初步建立起蘇南、皖南和皖中抗日根據地，開辟瞭華中敵後戰場，支援瞭正面戰場友軍作戰，並使部隊發展到2.5萬餘人。

1939年 ，周恩來受中央書記處委托，由重慶經廣西、湖南、江西，2 月 23日來到皖南涇縣雲嶺新四軍軍部，同項英作瞭懇切談話，並商得他同意，具體確定瞭新四軍的任務∶ "向北發展，向東作戰，鞏固現在陣地。"同時，周恩來還充分肯定瞭陳毅等廣大指戰員堅持東進、堅決向北發展的正確主張。

為發展滬寧地區的遊擊戰爭，陳毅派葉飛率第 6團東進，開辟澄（江陰）、錫（無錫）虞（山）和蘇（州）常（熟）太（倉）地區。

1939年5月1日，第6團 700 餘人從茅山地區出發，進至武進以南戴溪橋與中共江蘇省委領導的江南人民抗日義勇軍（筒稱江抗）梅光迪、何克希部會合，成立江抗總指揮部，梅光迪任總指揮，葉飛、何克希任副總指揮。第6團改稱江抗第 2路，梅、何部仍為江抗第3路，共1100餘人。

1939年5月上旬，江抗總部率第2、第3路東進，中旬抵陽澄湖地區，與中共常熟縣委領導的人民抗日義勇隊（簡稱民抗）會合，襲擊常熟東北梅李自衛團，殲敵1個連。月底，在黃塘與日軍遭遇，斃傷敵百餘人。

6月24日，夜襲滸墅關車站，使滬寧鐵路3日不能通車。

8月2日，襲擊上海虹橋機場，燒毀敵機 4架。經過以上一系列作戰，江抗建立瞭以東塘寺為中心的陽澄湖遊擊根據地，部隊擴編為5路，連同地方武裝達 6000餘人。

國民黨軍統戴笠網羅土匪、特務、流氓組成的"忠義救國軍"不斷挑釁，多次襲擊江抗部隊。

江抗根據陳毅的指示，以團結抗戰為重，除留下30 多個傷病員隱藏在陽澄湖休養外，西撤揚中整訓，途中連遭忠義救國軍攻擊，江抗被迫奮起自衛，第 2路司令員吳焜不幸犧牲。

江抗轉移到江陰西石橋，部隊縮編為兩個團。爾後，江抗陸續派部分幹部返回滬寧鐵路東段，並成立江南人民抗日救國軍東路司令部（後改稱指揮部，亦稱新江抗）和西路司令部繼續堅持蘇、常、太和澄、錫、虞地區的抗日鬥爭。為加強領導，新四軍軍部派譚震林任東路指揮部司令員兼政治委員，統一指揮這兩個地區的抗日遊擊戰爭。

1939 年 8月新四軍軍部決定第1、第 2 支隊統歸陳毅指渾。

11 月，新四軍江南指揮部在溧陽水西村宣告成立，陳毅任指揮，粟裕任副指揮。（在 1940年7月陳、粟渡長江北上後，重組江南指揮部，羅忠毅、廖海濤分任正副指揮，轄 4個團，共3000人，堅持茅山抗日陣地。）

陳毅依據中共中央關於"向北發展"的指示精神，∶首先整編管文蔚領導的丹北抗日自衛總團為江南人民抗日義勇軍挺進隊，在第1支隊第 2團1營配合下開辟瞭丹陽以北地區;

第二，派惠浴宇去江北聯系地方黨，成立蘇北工委及3個縣委，加強江北地方黨的領導力量;

第三，爭取團結蘇北地方實力派李明揚、李長江，使其在一段時間保持中立;

第四，沿長江勘察選擇北渡地點;第五，派挺進隊攻占揚中，建立過江跳板。

1939 年初，挺進隊一部進入揚州以東的仙女廟、大橋一帶，主力活動於揚中地區，守護過江通道。

1939年10月，江抗與挺進隊合編為新四軍挺進縱隊（簡稱挺縱），管文蔚任司令員，葉飛任副司令員，下轄 4 個團。

1939年11月，日軍3000人“掃蕩”揚中，挺縱除第2團在丹陽以北地區堅持鬥爭外，主力預先轉移到江北吳傢橋、大橋、嘶馬一帶。

陶勇率領第4團第2營以蘇皖支隊名義北渡長江，進入揚州、儀征、天長地區，次年2月間西進六合的挺縱第3團兩個營合編，仍稱蘇皖支隊。

由蘇南進入江北的部隊共達3500餘人，控制瞭揚州以東、泰州以西和儀征、六合、天長地區。

1939年5月葉挺到廬江東湯池組建新四軍江北指揮部，張雲逸兼指揮，徐海東任副指揮。

江北指揮部所屬部隊，有以廬江、無為地區黨領導的遊擊隊和人民良衛軍組成的江北遊擊縱隊，有以徐海東兼司令員的第4支隊。

有以羅炳輝為司令員的新組建的第5支隊。

7、8月間，第4、第5支隊分別進入津浦路東、西地區，發動群眾，開展遊擊戰爭，創建抗日根據地。

在津浦路西，第4支隊在廣大人民群眾的支援下，打擊日偽，消滅土匪武裝，很快開辟瞭以定遠縣藕塘為中心的遊擊根據地。

1939年12月中旬，日寇從南京、蚌埠等地抽調2000餘人，在滁縣地區集中後，分多路"掃蕩"全椒西南的周傢崗、大馬廠和古河等地。徐海東指揮第4支隊主力撤至周傢崗西南山地，以1個營采用“牽牛鼻子”方法把日軍引到一個山溝裡，派小部隊徹夜襲擾，使敵人不停地開槍、開炮，饑困交加。第3日晨，日軍開始撤退，第4支隊分兩路追擊，又殲日軍一部，迫其餘部逃回原駐地。

在津浦路東，第5支隊以來安東北半塔集為中心，分兵於來安、嘉山、盱眙、六合地區打擊敵人。來安是日軍在長江以北、津浦路以東的重要據點之一，離半塔集僅20餘公裡，對我威脅很大。羅炳輝第5支隊摸黑進到來安城下，翻墻入城，把一束束手榴彈和炸藥包扔進日軍駐的大院內，敵大部被殲。經過3個月作戰，第5支隊開辟瞭以半塔集為中心的津浦路東根據地。