山東野戰軍於1946年1月，奉中央軍委命令，撤銷津浦前線指揮部，新四軍調入山東的部隊與山東軍區的部隊組成山東野戰軍，任命陳毅為司令員，黎玉為政委，宋時輪為參謀長，唐亮為政治部主任，張凱為副主任。
山東野戰軍下轄：第一縱隊，葉飛任司令員，賴傳珠任政委；第二縱隊，羅炳輝任司令員，趙啟民任政委；第七師，譚希林任師長，曾希聖任政委；第八師，何以祥任師長，丁秋生任政委。
1946年9月，華中野戰軍和山東野戰軍兩個指揮部合併為華東野戰軍指揮部。1947年1月，遵照中央軍委命令，山東野戰軍與華中野戰軍合編為華東野戰軍。