淮河大隊(duì)根據(jù)中共蘇皖區(qū)黨委“一定要在原地區(qū)堅(jiān)持斗爭”的指示，在殘酷的環(huán)境和艱難的條件下與日偽軍進(jìn)行了長期的頑強(qiáng)戰(zhàn)斗，擴(kuò)大了八路軍和共產(chǎn)黨的影響，規(guī)模一度發(fā)展到5000余人，為黃克誠率八路軍第五縱隊(duì)南下開辟蘇北抗日根據(jù)地起到了重要的接應(yīng)作用。1941年4月，淮河大隊(duì)主力劃歸新四軍第三師八旅，不久為新四軍獨(dú)立旅第三團(tuán)。

1939年，日軍入侵淮安地區(qū)，國民黨軍隊(duì)棄城而逃，淮安全境淪陷。日軍在淮安到處“掃蕩”、燒殺擄掠、捕殺抗日志士，制造了多起駭人聽聞的慘案。一片混亂中，共產(chǎn)黨人張芳久、宋振鼎、吳覺等在淮陰縣組建了淮陰抗日義勇隊(duì)，同時(shí)漣水地區(qū)的漣水抗日義勇隊(duì)、淮安縣民眾抗日自衛(wèi)隊(duì)等也先后成立，有力地打擊了日偽的襲擾。1939年7月，淮陰、漣水抗日義勇隊(duì)和淮安民眾自衛(wèi)隊(duì)在漣水合編為八路軍山東縱隊(duì)隴海南進(jìn)游擊支隊(duì)第八團(tuán)。11月，蘇皖三地委將萬金培、薛華甫領(lǐng)導(dǎo)的武裝改編為第九團(tuán)，接著又將八、九兩團(tuán)合編為蘇皖縱隊(duì)南進(jìn)支隊(duì)第三梯隊(duì)，對外稱“淮河大隊(duì)”。