5月29日晚，山东兵团各部队对津浦铁路中段各要点发起攻势，至6月20日，先后攻占泰安、大汶口、曲阜、邹县等地，控制了兖州南北150千米的铁路线。第七纵队、鲁中军区部队包围兖州，至6月25日扫清外围并攻占四关。

兖州为津浦铁路中段战略要点。控制该城，南可威胁徐州，北可攻击济南。该城城郭坚固，筑有半永久性防御工事，城西开阔，东依泗河，驻有--军第十“绥靖”区司令部、整编第十二师及保安团队共12个团2.8万余人。--军陆军总部徐州司令部为解兖州之围，令整编二十五师沿津浦铁路北援，该师先头部队于28日进抵滕县以北界河地区。山东兵团当即调第九、第十三纵队由济南附近南移打援。令第七纵队撤围兖州，准备协同第九纵、十三纵打援。与此同时，被华东野战军西线兵团围困在豫东睢县、杞县地区的--军区寿年兵团求援甚急，--军统帅部遂命整编二十五师改援豫东战场。

山东兵团鉴于兖州--军处境孤立，迅速集中主力及地方武装共45个团的兵力再次包围了兖州，--地方党组织动员周边17个县153万多群众直接参与了支前工作，有力保障了前线的后勤供应。

7月6日，--中央军委赋予山东兵团“以全力攻歼兖州守敌和争取歼灭济南援敌，以完成扫清津浦线之敌”的任务。同日，山东兵团首长做出战略部署——以七纵并指挥十三纵队及鲁中军区部队负责攻城。以九纵集结于兖州以北、以鲁南军区部队位于兖州以南准备分别--济南和徐州援敌。以渤海纵队位于济南以东牵制济南--军。各攻城部队在7月11日前，完成攻城准备，待命攻击。

经过数日的战斗，攻城部队逐步攻克了琉璃厂、豆腐店、旧关等兖州的外围据点，并连续打退城内守敌的反扑，步步进逼至兖州城下。随后，攻城部队指挥员率队实地观察、研究作战方案，同时，还进一步明确了任务和攻城手段及组织指挥问题。攻城部队战士们用三天三夜的时间，将纵横交错的交通壕网一直挖到护城河前。

12日17时，攻城部队以两发--炮为信号，发起全面总攻。各部先以各种火炮进行火力准备，压制守军火力，摧毁老西门、新西门城墙及纵深工事。并用山炮抵近射击，打开突破口，摧毁了敌人设在城内制高点兴隆塔上的炮兵观察所。爆破组在炮火掩护下实施连续爆破，摧毁了敌人的碉堡和障碍物，开辟前进道路。突击队员涉水越壕、架起云梯奋勇登城。至20时50分，解放军已多路突破城垣，并击退敌人的反扑，巩固突破口，同时迅速向纵深发展。

13日上午8时，解放军攻城部队各师全部进入城内，控制了城内西半部，继续对守敌进行穿插分割。中午，各路部队全线进击，将敌人压缩到城东。

下午2时许，敌守军指挥官李玉堂见解放军已经打到了核心工事，只身化装潜逃，残敌失去指挥，顿时大乱，纷纷逃出东门。解放军十三纵三十九师等部队早已进占泗水河东岸，构成了对兖州城东的包围。当大股逃敌窜至官庄堡时，遭到解放军的迎头痛击，兖州部队追兵乘胜从两翼发起攻击，配合--部队歼敌一部。另有两股逃敌，一部窜至粉店、牛厂、西郭家村一带，另一部窜到刘家楼一带，分别被解放军一一七团和一一六团三营包围歼灭。至下午7时，战斗宣告结束。

当兖州再度被围时，济南--军整编九十六军4个旅于7月1日南援，其先头部队13日渡过汶河进至太平镇地区时，得悉兖州已失，慌忙北逃。至18日，第九纵队追歼万余敌人。