淮河大隊根據(jù)中共蘇皖區(qū)黨委“一定要在原地區(qū)堅持斗爭”的指示，在殘酷的環(huán)境和艱難的條件下與日偽軍進行了長期的頑強戰(zhàn)斗，擴大了八路軍和共產(chǎn)黨的影響，規(guī)模一度發(fā)展到5000余人，為黃克誠率八路軍第五縱隊南下開辟蘇北抗日根據(jù)地起到了重要的接應作用。1941年4月，淮河大隊主力劃歸新四軍第三師八旅，不久為新四軍獨立旅第三團。

1939年，日軍入侵淮安地區(qū)，國民黨軍隊棄城而逃，淮安全境淪陷。日軍在淮安到處“掃蕩”、燒殺擄掠、捕殺抗日志士，制造了多起駭人聽聞的慘案。一片混亂中，共產(chǎn)黨人張芳久、宋振鼎、吳覺等在淮陰縣組建了淮陰抗日義勇隊，同時漣水地區(qū)的漣水抗日義勇隊、淮安縣民眾抗日自衛(wèi)隊等也先后成立，有力地打擊了日偽的襲擾。1939年7月，淮陰、漣水抗日義勇隊和淮安民眾自衛(wèi)隊在漣水合編為八路軍山東縱隊隴海南進游擊支隊第八團。11月，蘇皖三地委將萬金培、薛華甫領導的武裝改編為第九團，接著又將八、九兩團合編為蘇皖縱隊南進支隊第三梯隊，對外稱“淮河大隊”。