26軍由魯中軍區部隊發展而來的。
1938年1月，中共山東省委領導徂徠山起義，山東各地人民的抗日武裝起義，建立起10多支起義武裝。
1938年6月，馬國瑞率曾國華、孫繼先兩支隊過津浦路，出兵天津以南、舊黃河以北的冀魯一帶。
8月，張經武、黎玉從延安帶160多名幹部去山東，經冀南軍區從津浦支隊抽一個營去山東作基幹。
9月，肖華率一部來到冀魯，整編冀魯部隊，組成八路軍挺進縱隊，由肖華任司令，到1939年上半年，冀魯邊區的武裝力景已擴大到2萬餘人，並發展到津南、魯北廣大地區。
10月廣州、武漢失守後，日軍開始增兵山東，佔據了山東大部分城市和交通要道，並開始向鄉村滲透。
12月，為加強山東抗戰力量，發展與鞏固抗日根據地，羅榮桓和陳光率115師師部、教導大隊及343旅主力於相繼挺進山東，建立了泰西根據地，後又進入魯南抱犢崮山區發展。
12月27日，成立八路軍山東縱隊，張經武任指揮，黎玉任政委，所轄部隊有由沂水、莒縣之2支隊一部改編的第2支隊，由清河區的山東人民抗日救國軍第5軍改編的第3支隊，由魯中區的原第4支隊（後改稱抗日聯軍獨立1師）編成的第4支隊，由膠東區山東人民抗日救國軍第3軍和膠東抗日遊擊3支隊合編的第5支隊，由泰西區抗敵自衛團及汶上縣遊擊武裝合編的第6支隊，原魯東抗日遊擊指揮部所轄第7、第8支隊，原第4支隊一部編成的第12支隊，魯南起義武裝部隊編成的人民抗日義勇軍第1總隊，由微山湖以西起義武裝組建的人民抗日義勇軍第2總隊改編的挺進支隊，由邳縣遊擊武裝編成的隴海南進支隊，臨郯獨立團及縱隊直屬特務團、軍政幹部學校和工廠、醫院等，共2.45萬人。
張經武
此時山東抗日戰爭的形勢嚴峻複雜，日軍除將武漢會戰的兵力大部回撥外，還從其它地區和日本國內調集一些部隊，集中“掃蕩”抗日根據地。汪精衛已經公開投靠了日本帝國主義，國民黨頑固派積極推行“溶共、防共、限共”的反動政策，山東以沈鴻烈為代表的頑固派，推行限制八路軍發展、驅逐八路軍出魯的政策。
1939年1月，挺進支隊與進入湖西的115師蘇魯豫支隊合編，仍稱蘇魯豫支隊，歸115師建制。
2～5月，山東縱隊進行了以整編，4支隊編成1個基幹團（仍稱第4支隊），5支隊編為 13、15團，第7、8支隊與第2、9支隊合併為第1支隊，5支隊61團與12支隊合編為新的第2支隊，臨郯獨立團編入隴海南進支隊，津浦支隊1個營與3支隊、7、8支隊各一部合編為山東縱隊特務團。
整編後，山東縱隊轄第1、第2、第3、第4、第5、第6支隊，隴海南進支隊，魯南人民抗日義勇隊第1總隊和縱隊特務團等。
此後，山東縱隊同入魯的115師並肩作戰，鞏固與擴大了山東各抗日根據地。
黎玉
隨著山東抗日遊擊戰的發展，抗日武裝也在不斷壯大，其中既有八路軍的正規部隊，又有一些地方武裝，指揮不統一。為統一指揮山東與蘇北的八路軍各部隊，北方局、八路軍總部，打算組建八路軍第一縱隊，以徐向前為司令，朱瑞為政委。
正在冀南的129師副師長徐向前和在晉東南八路軍總部的朱瑞接到命令後，星夜向山東進發。
隨同朱瑞去山東的幹部，多是朱瑞從八路軍總部、野戰政治部和抗大一分校選調的，有王建安、羅舜初、徐黎平等軍事指揮人員，謝有法、劉志超、李竹如等政工幹部。
6月7日，徐向前、朱瑞碰面，隨後一行出發，29日到達沂蒙山區，沂蒙山區位於山東中南部，現在這裡成了山東共產黨軍隊的指揮中心。
徐向前、朱瑞一行人與郭洪濤（山東分局書記，原為蘇魯豫皖省委書記）、張經武（山東縱隊指揮）、黎玉（山東縱隊政委，原為山東省委書記）會合。
30日，召開由山東分局和山東縱隊領導參加的高階幹部會議，郭洪濤報告了山東根據地開創經過及反“掃蕩”經驗，張經武報告山東軍事問題，黎玉講了山東縱隊的政治工作。
此時，黎玉和張經武領導的山東縱隊有2.5萬多人，開闢了沂蒙山區和膠東等根據地。
但成立時間短，戰鬥經驗少，幹部缺，裝備差，處境非常艱難。好在沂蒙山區地形便利，加上部隊指戰員多是本地人，熟悉地形、民情，藉助青紗帳和群眾掩護，輾轉游擊，頑強地抗擊著敵人。
恰逢日軍正對魯中抗日根據地進行第一次大規模“掃蕩”，徐向前、朱瑞等馬上帶領部隊，全力投入反“掃蕩”鬥爭。
反“掃蕩”一結束，兩人立即開始著手統一部隊建制，健全縱隊領導機構的工作。
朱瑞
8月1日，正式組成八路軍一縱隊，徐向前任司令，朱瑞任政委，統一指揮山東和蘇北的八路軍各部隊。原蘇魯豫皖省委改為山東分局，由郭洪濤、徐向前、朱瑞、羅榮桓（115師政委）、黎玉、張經武、陳光（115師代師長）、彭雪楓（新四軍遊擊支隊司令）組成，郭洪濤任書記。
9日，成立山東軍政委員會，朱瑞、郭洪濤、羅榮桓、徐向前、黎玉為委員，朱瑞任書記。
之前山東曾一度受王明“一切經過統一戰線”主張的影響，未能堅定地貫徹獨立自主方針，退讓太多，秦啟榮形同漢奸，多次向我進攻，未能給予有效還擊，如不加改變，山東創造根據地是要受挫折的。
因為沒有政權，八路軍的物資供應發生困難，連吃飯都是問題，有時競到斷糧的地步。國民黨政府不給八路軍糧和錢，幾萬部隊穿衣、吃飯、醫藥、裝備供給困難可想而知。
為此，徐向前到魯蘇戰區總司令于學忠那裡談判，明白告訴于學忠，共產黨要在根據地內建立政權。
于學忠是張學良的親信，實際上並不是東北軍的嫡系，1927年6月以前還在吳佩孚手下任軍長，吳佩孚倒臺後，才被張作霖父子邀去東北軍。張學良沒有因為他是吳佩孚的部下而冷落他，恰恰相反，對他採取了信任態度，這使于學忠很感激。張學良被扣後，他不僅忠於職守，還把張學良的戰馬養在身邊，他不騎也不準別人騎，以表示對張學良的忠誠。
于學忠熱情地接待了徐向前，只是于學忠不贊成八路軍搞政權：“你們抗日，就不要搞地方政權了，八路軍是軍隊，不能搞政權。你們搞政權，我這個省政府怎麼搞？”
徐向前說：“我們是抗日的軍隊，要搞抗日根據地，就得建立政權。在中國的土地上，總不能讓日本人橫行，而對抗日軍民加以限制吧？”
于學忠說：“你們不搞政權，也可以抗戰呀！”
徐向前說：“我們的部隊抗戰得吃飯，沒有自己的政權就沒飯吃。你們一不給我們糧款，二不給我們槍彈，連應該發的薪餉都不給，我們不搞政權，怎麼辦？”
最終於學忠同意了八路軍可以在根據地內搞政權。
8月下旬，1縱指揮山東縱隊第1、第3、第4支隊，在魯中的淄河流域反擊國民黨頑軍的挑釁，收復諸多失地。
10月13日，1縱合併到山東縱隊，組成統一的指揮。
1939年夏到1940年春，115師和山東縱隊，與山東軍民一起挫敗日偽軍對膠東、清河、泰西和冀魯邊等地區的“掃蕩”，取得梁山伏擊戰、大郝家伏擊戰和泰山區、抱犢崮反“掃蕩”的勝利。
8月起，山東縱隊進行第二期整軍，其間成立了第1、第3軍區，第2軍區由115師獨立旅兼。
1939年8月4日，膠東國民黨頑固派暫編十二師師長趙保原進攻八路軍掖縣根據地，捕殺共產黨地方工作人員及家屬。9日國民黨第三遊擊縱隊司令秦啟榮在萊蕪北雪野地方，襲擊了四支隊司令部；5天以後，又在淄河流域圍攻山縱2個營達10天之久。這就是有名的“雪野事件”和“淄河事件”。在這之前，3月間也是這個秦啟榮，在太和鎮伏擊山縱三支隊過路部隊，政治部主任鮑輝以下100多人慘遭殺害。
9月，毛澤東與中央社、掃蕩報、新民報三社記者談話時說到：“張蔭梧、秦啟榮是兩位磨擦專家，張蔭梧在河北，秦啟榮在山東，簡直是無法無天，他們打敵人的時候少，打八路軍的時候多，和漢奸的行為很少有區別。”
秦啟榮反對八路軍不是孤立的，山東頑固派的首領是沈鴻烈，兩人一個在臺前，一個在臺後，他們打日本外行，反對八路軍很內行。沈鴻烈對抗日表現不熱心，只是反覆要求限定八路軍在山東的游擊隊人數，劃定佔領地及防區。
沈鴻烈曾在張作霖部隊中待過，抗日戰爭爆發時擔任海軍第三艦隊司令兼青島市市長，日軍從青島登陸，他不戰而逃，比韓復榘跑得還快，可是很會開脫，告了韓復榘不戰而逃的狀。他逃到徐州不到1個月，蔣介石殺了韓復榘，委任他為山東省政府主席。
他們對八路軍是見人就捉，見槍就下，見幹部就殺，有損抗戰的力量，還說“寧亡於日，不亡於共，日可以不抗，共不可不打。”其猙獰面目暴露無遺。
沈鴻烈接二連三地向八路軍進攻，同時勒令八路軍將諸城、海口交還，極力推行分化孤立、封鎖給養、武裝威脅、收買、繳械等政策。已對八路軍抗日根據地構成了嚴重威脅，不對他們進行反擊，抗日根據地就保不住。
山東國民黨軍隊為數眾多，最多時大小達200多股，20餘萬人。這些部隊中，有傾向抗日的較進步者，有消極抗日卻積極反共的，也有徘徊於左右之間的中立分子，對付他們的政策分別為團結、打擊、爭取，打擊的物件主要是秦啟榮，還有王洪九（國民黨遊擊第十支隊司令）和張裡元（國民黨遊擊第一縱隊司令）等人。
1939年8月下旬，山東縱隊在魯中淄河流域的反頑戰役，這次戰役有1、3、4三個支隊參戰，由山東縱隊指揮張經武和參謀長王彬前線指揮，連戰幾天消滅秦啟榮一部，收編一部，繳槍2000多支，殘部逃了。
除這次反頑戰役之外，115師和山東縱隊其他支隊，也在各地區開展反頑鬥爭。
盧溝橋事變兩年多，抗日戰爭進入相持階段，日軍對共產黨領導的抗日根據地的“掃蕩”愈來愈烈
在反“掃蕩”作戰中，有名的戰鬥有115師的“梁山殲滅戰”、“白彥戰鬥”，山東縱隊一支隊的“五井戰鬥”、二支隊的“孫祖戰鬥”、四支隊的“楊家橫夜襲戰鬥”、挺進縱隊的“王八寨戰鬥”、東進支隊的“馬坊、重坊戰鬥”等，這些戰鬥，都程度不同地給日偽軍以殺傷。
日軍掃蕩了多少次？那時部隊就是整天到處遊擊，部隊在一個村子一次住宿超過3天都很少，但由於游擊區範圍小，部隊整天轉來轉去，碰在一起是經常的事，上次在這家住，這次還要到這家。有的房東他很熟，有時一進村就被接去了，熟悉的房東還請喝酒。
山東縱隊這支剛剛組建不久的部隊，強點在於部隊的政治素質較好，有決心與侵略者做鬥爭，但它的弱點是幹部戰術修養差，單獨行動把握小，不善於集中最大限度兵力抓住敵弱點爭取殲滅戰，不會作遭遇戰、埋伏戰、襲擊戰，射擊不準確，射擊無規律，亂消耗子彈，行軍力不強，動作遲緩，常失戰機，戰場紀律不好，常發生忽視命令、修改命令、臨時脫逃的現象，戰場政治工作制度未建立。
根據鬥爭形勢和山東部隊的實際，徐向前提出了武裝力量建設的“九化”：“1、主力兵團正規化。2、地方武裝基幹化。3、游擊隊組織化。4、自衛團普遍化。5、黨的領導絕對化。6、戰鬥力頑強化。7、行動積極化。8、生活艱苦化。9、紀律嚴肅化。”
同時大量培養、選拔、聘請幹部，聘請各種人才，如騎兵、技術兵、炮兵人才，技師、技術人才，如無線電人才，只要願意真正抗日，都歡迎他們來參加八路軍。
加強參謀、機要工作和軍需供給工作，開辦參謀人員訓練班，學習參謀業務，制定參謀工作制度，要求技術參謀進到戰術戰略參謀。
除此之外，膠東、魯南還有金礦，月產黃金12兩。
1940年6月7日，徐向前帶著警衛小分隊，踏上了去延安的路。
10月，山東縱隊與八路軍1縱機關合並，仍保留山東縱隊番號。同月，東進抗日挺進縱隊的津浦支隊調歸山東縱隊建制，編入第2支隊；直轄第4團改稱蘇魯支隊。
1940年3月，6支隊、蘇魯支隊調歸115師建制。
4月，以山東縱隊1軍區為基礎，組建9支隊，進入日照、莒縣一帶開闢抗日根據地。
此時，山東縱隊進行第三期整軍，部隊發展到3萬餘人。
8月，隴海南進支隊編入八路軍5縱。
9月，山東縱隊進行第四期整軍，所屬部隊整編為4個旅、3個支隊、2個團：第1旅由1支隊1、3團和4支隊1、2團編成，第2旅由2、9支隊編成，第3旅由3支隊編成，第5旅由5支隊編成；第1支隊由沂蒙區基幹武裝編成，第4支隊保留，第5支隊由第3軍區（膠東） 編成；縱隊直轄特務第1、2團，連同軍政幹部學校等共5.1萬餘人。
1941年4月，以縱隊特務2團1個營等為骨幹重建蒙山支隊（原稱蒙山獨立支隊），活動在沂蒙南部地區。
6月，山東縱隊進行以克服分散主義、地域觀念、實現正規化為中心的第五期整軍。
8月，中共中央、中央軍委決定：山東縱隊歸115師首長指揮，山東縱隊軍政委員會和115師軍政委員會合組為山東軍政委員會，羅榮桓任書記。
同月，組建4旅，活動於泰山地區；4支隊改為魯中軍區1軍分割槽；1支隊改為魯中軍區2軍分割槽。
9月，縱隊特務1、2團編入1旅。
11～12月間，山東縱隊協同115師在沂蒙山區挫敗了日偽軍5萬餘人的“鐵壁合圍大掃蕩”。
1942年8月1日，山東縱隊改編為山東軍區，以縱隊機關一部組建魯中軍區，1旅改歸115師建制，2旅改為濱海軍分割槽，3旅改為清河軍區，4旅與魯中1軍分割槽合併，5旅歸膠東軍區指揮，5支隊機關改為膠東軍區機關。
王建安
魯中軍區，王建安任司令，羅舜初任政委，轄第1、第2、第3、第4軍分割槽。
1943年3月，山東軍區與115師合併，成立新的山東軍區，羅榮桓任山東軍區司令兼政委、115師政委、代師長、山東分局書記，統一領導山東的黨政軍工作。
至此山東縱隊完成了使命，從1938年12月成立至1943年3月，共作戰4500餘次，殲滅日偽軍9萬餘人，部隊發展到6萬餘人。
在抗日戰爭最艱難的歲月，羅榮懷領導山東軍民進行精兵簡政，實行主力部隊地方化，加強連隊基層建設，開展分散性、群眾性游擊戰爭，針對日軍對根據地的“掃蕩”和“蠶食”，提出“敵人打過來，我們就打過去”的“翻邊戰術”，扭轉了山東抗日根據地的被動局面。
1945年，山東進行大反攻，控制山東境內的津浦、膠濟、隴海鐵路，收復除濟南、青島少數城市之外的大部地區。
此時山東軍區已經發展到27萬正規軍，佔共產黨軍隊的三分之一。
1945年8月，山東部隊整編，魯中軍區的第1、第4旅編為第3、第4師，魯中各軍分割槽及縣區武裝，組成警備1、2、3、4旅。
1945年10月底開始，羅榮桓率領山東軍區部隊陸續出發，除個別部隊是走陸路外，絕大多數分三批乘船到東北。除6萬餘人正規部隊以外，還派往東北20個基幹團，約3萬人，向東北共輸送了9萬人的幹部、戰士，成為東北民主聯軍的中堅力量。
山東軍區剩下的20餘萬正規軍也成為了三野主力。
11月，魯中軍區3師、警1旅一部、警3旅大部調往東北後，魯中軍區以警2、警3旅一部，組成9師，其它部隊編為警備旅和獨立1、2旅。
隨後，魯中軍區參加打破國民黨自徐州沿津浦路北進華北、東北計劃的作戰，繼而攻佔了幾處魯中要地，並解放了膠濟線西段，使魯中、渤海兩解放區聯成一片。
1946年初,魯中軍區司令王建安、政委嚮明、參謀長張仁初，下轄第4師（師長孫繼先、政委王一平）、第9師、魯中警備旅、獨立1、2旅等部隊。
6月，內戰全面爆發，國民黨從濟南、濰縣沿膠濟線兩路對進，向淄博解放區進攻，魯中軍區參加膠濟路西段阻擊戰、淄博保衛戰等。
在文埠戰鬥中，魯中軍區殲敵一個建制團又一個半營，首創一舉殲滅國民黨正規軍一個建制團的範例。
1946年12月，魯中軍區部隊參加魯南戰役，全殲國民黨第1快速縱隊等。
1947年2月，山東野戰軍與華中野戰軍整編為華東野戰軍，魯中軍區主力整編為華東野戰軍第8縱隊，司令王建安，政委嚮明，副司令孫繼先，參謀長張仁初，政治部主任王一平，下轄第22師(由4師改稱，孫繼先兼師長)、第23師（由9師改稱）、第24師(由警備旅改稱）和一個炮兵團，全縱隊共3．3萬人。
2月，參加萊蕪戰役，8縱全殲國民黨73軍77師，後又協同兄弟部隊殲國民黨第2綏靖區李仙洲集團，8縱22師生俘李仙洲。
4月，在泰蒙戰役擔任阻擊。
5月，在孟良崮戰役中，作為5個主攻縱隊之一，8縱擔任左翼穿插分割重任，切斷敵整編74師與整編83師的聯絡。
1947年7月，轉入戰略反攻，8縱編入粟裕指揮的外線兵團，西出津浦線，轉戰魯西南，先後參加了沙土集戰役和土山集戰鬥。
9月下旬，進軍豫皖蘇邊區，橫掃國民黨保安部隊。
11月，隴海鐵路破擊戰，控制了開封至徐州段。
1948年2月，為配合平漢線破擊戰，成功阻擊了國民黨“王牌”第5軍多次西援。
1947年12月至1948年2月，為開闢新區和加強地方政權建設，24師師部及該師71團調往許昌以西地區組建豫皖蘇軍區第5軍分割槽，24師70團撥歸22師指揮，24師72團改為縱隊特務團。
1948年3月，洛陽戰役，在洛陽東阻擊鄭州國民黨東援。
張仁初
戰後，司令兼政委王建安奉命上調為山東東線兵團副司令，張仁初接任8縱隊司令，王一平接任政委。
為配合中野宛西戰役，8縱先在方城、泌陽阻援，後奔襲許昌，全殲河南省保安獨21旅。
6月，8縱和3縱出其不意包圍河南省會開封，8縱率先突破新南門，與3縱一起全殲守敵3萬多人，創造瞭解放戰爭中攻克關內國民黨省會城市的先例。
隨後，阻擊新5軍東援4晝夜，從此“排炮打不動，一定是八縱”的威名遠揚。
8縱後又參加了圍殲區壽年兵團的睢杞戰役。
9月，濟南戰役，在魯西南打援。
1948年11月，淮海戰役，8縱搶佔運河鐵橋，為保證大部隊的透過圍殲黃百韜兵團贏得了時間。在圍殲黃伯韜兵團的戰鬥中，8縱是5個主攻縱隊之一。
隨後參加圍殲杜聿明集團。
經過幾年的解放戰爭，8縱已經成為華野主力，特別是攻堅能力最強的6個縱隊之一。
1949年2月，華野8縱改稱為中國人民解放軍第26軍，軍長張仁初，政委王一平，22、23師依次改稱第76、第77師；同時24師歸建，以其71團、72團一部為基礎與69團、軍部特務團組成第78師，全軍共3.2萬餘人，隸屬於三野8兵團建制。
4月，渡江戰役。
蘇州河
5月，上海戰役，連續攻克崑山、嘉定、國際無線電臺、真如火車站、大場飛機場等築壘，控制蘇州河北側市區，後擔任上海警備任務。
1950年1月，26軍和20、23、27軍的9兵團組成攻臺的第一梯隊，30軍88師改歸26軍建制。
1950年11月，26軍參加志願軍，入朝作戰。
26軍在軍長張仁初、政委李耀文的率領下，在極其艱苦和困難的條件下，參加了第二、四、五次戰役和金化、鐵原防禦戰。
在第四次戰役第二階段，26軍採用運動防禦的戰法，阻擊西線進攻之敵主力，激戰38個晝夜，殲滅敵軍1萬餘人，並創造了步兵班擊毀美軍9輛坦克的紀錄。
在金化、鐵原防禦戰中，26軍堅守陣地近11個月，進行大小戰鬥565次，殲敵2萬餘人。
在抗美援朝戰爭中，26軍共殲敵3.8萬餘人，居參戰各軍第5位。
1952年6月，26軍從朝鮮回國，駐守膠東半島海防重地。
1967年，76師調福州軍區江西省軍區建制，後11軍33師調入26軍改稱76師。
1985年，26軍改編為解放軍第26集團軍，下轄76師（原11軍33師）、77師以及原46軍的136、138師，並編入坦克8師。
1998年後，77師縮編為摩步77旅，坦克8師改編為裝甲師。
在原第67集團軍撤消後，其所屬199摩步師和200摩步旅調歸第26集團軍所轄。
此後，76師被改編為山東省陸軍預備役師，136師改編為河南省陸軍預備役師。
2003年，138和199摩步師縮編為旅，200摩步旅撤銷番號。
2014年前，第26集團軍下轄：摩步77旅、摩步138旅、摩步199旅（紅軍師）、裝甲8師、炮兵8旅、高炮76旅、直屬陸航團、通訊團、電子對抗團、防化團、工兵團、特種兵大隊。
補充一句：26軍原來的76師，後改為86師屬29軍，改屬31集團軍，還是頭號主力。
