羅榮桓、陳光在打擊頑固的敵對勢力的同時，對中立勢力也進行爭取。
滕縣有支3000多人的武裝，頭子叫孔昭同，曾在北洋軍閥孫傳芳部隊當過中將師長，後回到滕縣老家開藥店、辦學校。"七七事變"後，日軍南侵，他在滕縣與當過閻錫山的師長和軍長的楊士元，拉起了一支"魯南民眾抗日自衛軍"。1938年冬，他的拜把兄弟石友三委任他為第1縱隊遊擊司令，不久又把他的部隊改編為暫編第6師，委任他當師長。該師活動於鄒縣、滕縣沂水、費縣之間。
孔昭同的兩個兒子被日本飛機炸死，因而他對日本人很仇視。羅榮桓決定爭取孔。
當時，孔昭同聘請了在滕縣教育界很有名望的彭畏三做他的高階參議。彭畢業於北平師範大學，思想進步，早在抗戰前就與一些共產黨員有接觸。當115師到魯南以後，彭畏三作為孔昭同的代表與羅榮桓多次深談。羅榮桓瞭解到，雖然石友三的人馬走了，但時任魯蘇戰區司令的于學忠和魯南的國民黨專員張裡元對孔昭同都很有影響。
於是，羅榮桓向彭畏三說明，八路軍希望與孔師合作抗日，孔師可保持原來的番號，繼續在原來的地區活動。彭畏三很讚賞羅榮相的提議。他說孔昭同希望八路軍派一位政工幹部到他那裡去做政治部主任，羅榮桓當即派了黃玉昆前往，並說明黃玉昆是經過兩萬五千里長徵的幹部。黃玉昆到孔師以後，即宣傳八路軍的抗日主張和三大紀律八項注意等優良傳統，並幫助孔昭同整頓了部隊。逐步克服舊軍隊的惡習，改善了與當地群眾的關係。
與此同時，羅榮桓還透過另一條線，做爭取孔昭同的工作。當時孔昭同手下有3個旅，2旅旅長董堯卿曾在舊日軍隊中任過旅長。失意後回滕縣老家，結識了共產黨員何一萍、朱道南、郭子化等。抗戰爆發後，他與他的弟弟莆一博加入了共產黨。115師到魯南後，董堯卿立即與115師聯絡，孔昭同也派他和孔的秘書長劉元甫，帶著大批慰勞品慰問115師，要求與115師合作抗日。115師也先後派了周樂亭和曹正之去董旅任參謀長和政治部主任。
1939年12月，蔣介石發動了第—次反共高潮，在滕縣一帶活動的國民黨頑固派申憲武（申從周）等蠢蠢欲動。孔昭同師的第1旅旅長劉昭漢，也暗中與日偽和國民黨勾結，離間孔昭同與八路軍的關係。這時，羅榮桓剛從湖西回至師部，他與陳光分析了魯南的形勢後，即派了686團等部隊，狠狠打擊了申憲武部，申狼狽逃跑，他手下的兩個團也被董堯卿旅消滅。後686團與董旅合編為魯南支隊，由686團團長張仁初任支隊長，董堯卿任副支隊長。此後，孔昭同也主動取消6師的番號，接受共產黨和八路軍的領導。經上級批准後，115師正式任命孔昭同為八路軍115師曲、泗、鄒、滕、費五縣遊擊司令。1940年11月，孔昭同因病逝世，羅榮桓與陳光、肖華聯名送了輓聯，頌揚孔昭同熱愛真理，為民族、為國家英勇奮鬥的高尚品德。
由於抱犢崮根據地遠離其他抗日根據地，在敵、偽、頑、罪的四面句圍下，羅榮相、陳光等採取了"以抱犢周為中心。向北、向西北連線大塊山區。與向南及東南發展大塊平原"的方針。向北，是與山東分局和山東縱隊所在的沂蒙山區打成一片；向西北，是與魯西地區連線起來;向西南和東南，是與新四軍及華中地區打通聯絡。這樣，就會使魯南充分發揮其戰略樞紐的作用。
115師在拔掉釘在抱犢固周圍的孔莊和白彥兩個套子的同時，也派部分人向大爐東南的郯城碼頭平原進軍，打通與華中區的聯絡。郯碼平原是蘇魯邊界上最富庶的地區，是聯絡山東和蘇北的樞紐。
"七七事變"以後，共產黨員丁夢蓀等人到郯碼地區宣傳抗日，發動群眾，組織抗日武裝。並於1938年冬成立了"臨（沂）郯（城）獨立團"。不久，反共分子閻麗天當了國民黨的郯城縣長，其立即公開取締共產黨在郯碼地區的抗日活動，並妄圖消滅臨郯獨立團。
羅榮桓與陳光本想爭取閻麗天。但閻執米不悟，竟然派部隊圍攻駐沙埠西邊西哨村的原臨郯獨立團的部隊。羅榮桓遂下令東進支隊馳援解圍，把敵人從西哨—直追到南哨。1940年1月，在碼頭村成立了郯城縣抗日民主政府。鞏固了抱犢崮山區東南的外圍陣地，打通了與沂沭河以東的濱海地區的聯絡。
這時，115師師直及343旅兩年來發展已近5萬人。115師師直和343旅部隊計有彭明治支隊主力3個團。共9000人槍共7000餘支，獨立遊擊支隊人槍3000餘。肖華部主力兩個團，5900餘人，槍共4000餘支，地方游擊隊人槍各4000餘。楊勇部3個團及獨立營共1萬多人，槍共7000餘支。陳士榘支隊兩個團共4500餘人。師直屬隊及7團共5000餘人。以上各部都是在師直和343旅基礎上發展起來的，主力共有13個團的架子，3個大營。另外，還有6個支隊8000餘人，115師幫助整理訓練，並選派了排以上的幹部。1940年2月這5萬人與其他部隊合編為八路軍第2縱隊。這些部隊分佈於蘇魯豫、冀魯邊、魯西、魯南等地區。
115師在魯南的勝利發展，給駐在魯南地區的日偽軍造成嚴重威脅，1940年4月中旬，敵人集中了近8000人的兵力，分別從鄒縣、滕縣、棗莊、嶧縣、臨沂、費縣等據點，分十幾路出動。向抱犢崮山區根據地進行大規模的春季"掃蕩"，企圖乘青紗帳未起來的時候消滅這一帶的八路軍。為粉碎敵人的"掃蕩"，羅榮桓和陳光下令師司令部、政治部和魯南三地委都分散活動。羅榮櫃率領師政治部機關，只有一個特務3連掩護，單獨與敵人周旋。
羅榮桓與師直屬隊堅持在內線迂迴穿插，與敵周旋，弄得敵人暈頭轉向。686團和蘇魯支隊等部隊。以機動靈活的戰術，在外線
狠狠打擊敵人，有力地牽制了"掃蕩"中心區的敵軍。
反"掃蕩"戰鬥中。活躍在津浦路沿線的鐵道游擊隊連續破壞了敵人的列車，有力地配合了反"掃蕩"的戰鬥。
這次反"掃蕩"，前後經過一個月，終於粉碎了敵人企圖殲滅115師主力部隊的陰謀，保衛了以抱犢崮為中心的魯南根據地。5月間，115師繼續執行向北發展、開闢天寶山區的戰鬥計劃。嚴厲打擊了在天寶山一帶活動的劉桂堂匪部，使以抱犢固為中心的根據地進一步擴充套件：向北與蒙山山脈相連線，控制了津浦鐵路東側的曲、泗、鄒、滕、費大片山區;向南控制了郯碼平原。直逼隴海鐵路，從西北到東南，長達200餘里，開創了魯南抗日根據地的新局面。
1940年，中共中央發出關於召開參議會、成立"三三制"抗日民主政權的指示以後，羅榮桓按照山東分局的部署，幫助魯南區黨委組織了魯南地區抗日人民代表大會和魯南參議會的籌備工作。6月11日，魯南抗日人民代表大會在115師駐地附近的費縣臼子峪正式召開。羅榮桓在會上作了關於抗日民主政權性質和任務的報告。會議期間，羅榮桓接見了各地來的代表，傾聽各方面的意見。這次代表大會上，正式成立了魯南抗日救國聯合總會，成立了魯南參議會，選舉彭畏三任參議長；成立了魯南行政督察專員公署，由於化琪任專員。不久，在專員公署下面又相繼建立了具級民主政府。從上到下建起了一整套"三三制"抗日民主政權。
115師還抽調了大批幹部，有的三五人一組，有的七八人一隊。哪裡需要就派到哪裡去，幫助地方黨。深入基層做發動群眾的工作。1940年8月的一天，羅榮桓和魯南區黨委書記趙鍵一起，到炎城碼頭地區檢查工作。由於這裡是交通要道，因而這個地方工作好壞，對整個魯南地區影響很大，所以羅榮桓特別重視。
當時115師派出了崔廣潤等地方同志一起組成了中共郯碼工人委員會，由崔任書記。同時成立了郯城縣抗日民主政府，由115師政治部民運部股長翟新亞當了縣長。翟新亞上任後，以搞統戰為名，和一些地主資本家鬼混在一起，抽大煙，嫖女人。羅榮桓得知後非常氣憤，當即撤了翟新亞的職，並開除了他的黨籍，選調了新的縣長。
由於羅榮桓堅決執行了對於學忠和沈鴻烈區別對待的方針。團結了東北軍，在抗日戰爭前期，于學忠在山東基本上保持著中立的態度。沒有對共產黨領導的抗日軍民造成重大的損害。這對於抗日軍民的反對日偽軍的"掃蕩"、"蠶食"，反對國民黨頑固派的進攻，鞏固和擴大我黨領導的抗日根據地，提供了有利的條件。
