在内战初期，蒋介石依仗其优势的兵力，对各解放区发动全面进攻，但在各战场上均遭到惨败。他经过一番准备，于1947年3月起，由全面进攻改为重点进攻。重点进攻的地区之一是山东地区。4月上旬，蒋介石纠集了5万兵力，向山东解放区杀奔而来，想要把解放军挤出鲁南地区。
新泰、蒙阴、青驼寺以东地区，是鲁中解放区的腹地，群众条件好，民兵组织坚强，在蒋军可能进攻的方向上已实行了彻底的空舍清野，并严密封锁消息。该地区多为岩石山地，构筑工事困难，但地形复杂，便于部队隐蔽集结和穿插。
华野主力按军委部署向莱芜、新泰、蒙阴以东地区转移后，敌军果然乘机前行。敌人吸取过去失败的教训，不敢冒失前进，将部队组成3个机动兵团，稳扎稳打，齐头并进，寻找华东野战军决战。他们转游了1个多月，找不到解放军的一兵一卒，于是不费力气就占领了解放区内的莱芜、蒙阴、河阳等城镇。这时，敌人一改“稳扎稳打”的方针，在敌第一兵团司令汤恩伯的指挥下，敌人4个整编师和1个军，不等其他兵团统一行动，冒冒失失向北推行。其中推进最快的是整编74师，差不多进到了坦埠。
在国民党军队中74师是很有名气的，是国民党军队的五大主力之一，受过美国军事顾问的特种训练，全部用美国武器装备，战斗力比较强，被国民党称为“王牌军”。国民党吹嘘说：“有10个74师就可以统一全国。”74师在国民党军队中地位这么重要，解放军华东野战军指挥陈毅、粟裕决定，在粉碎敌人这次进犯中，要适时集中全力去消灭这个师。时间紧迫，华野由5个纵队担任围攻任务。
5月11日，74师在向北进攻时，受到解放军的阻击。张灵甫发现解放军各路大军向自己压来，不敢停留，迅速指挥部队向后撤退。但解放军紧紧地咬住不放，同时派出一支部队迅速绕到74师后面，插在它与25师中间。张灵甫知道，和其他部队联系切断，会陷人被包围的困境，因此在5月14日清晨指挥全师向南推进，企图向25师靠拢。如果能突破临蒙公路，就可以逃走。
解放军前卫部队2连接受了堵住74师去路的任务。经过一夜急行军，2连抢占了公路南面的285高地。74师赶到这里时，2连火力已封锁了公路。张灵甫指挥部队发动了13次冲锋，仍没有成功。就在2连死守住山头时，解放军大部队已压了过来。张灵甫无路可走，只得下令逃进孟良崮大山。
孟良崮群山连绵，溪流纵横，72崮装点其间，具有“引无数英雄竞折腰”的奇观。这里也是古战场，为兵家必争之地。
南京方面得到74师被围的消息，大为吃惊。参谋长陈诚立即打电报给张灵甫，要他坚持3个小时，以等待援兵。接着，蒋介石亲自飞到徐州督战，下了死命令，要各路援军在3小时内与74师会合。然而，解放军已在各通道上布置了阻击部队，国民党的增援部队一个也不能接近孟良崮。张灵甫守了3天还是不见援兵的踪影。解放军一刻不停地进攻，迫使张灵甫的部队压缩起来，而且74师2万多人的吃喝也成了问题，敌士兵们惊慌失措。
时机成熟了，5月15日13时，解放军发起总攻，一场大规模的围歼战开始了。各主攻部队集中各种大炮、山炮、野炮，一齐向敌人阵地猛轰。74师的火力是很强的，也集中炮火还击。只见一串串炮弹从空中呼啸而过，到处响起山崩地裂似的爆炸声。
华野全体指挥员发扬了猛冲猛打的战斗作风，奋勇作战。15日下午1时，解放军发起总攻，从四面八方多路向整74师突击，整74师则竭力顽抗。双方对大碾、雕窝孟良崮东北高地等重要阵地进行反复争夺。战至16日晨，华野攻占大碾、雕窝、520和540高地，将74师压缩至孟良崮、芦山、600高地一线狭小地区内。华野抓住战机，集中强大炮火猛烈射击，山上弹片碎石齐飞，整74师人马乱成一团，互相践踏，战斗队形混乱。解放军战士乘机突入整74师阵地，以白刃格斗消灭顽抗之敌。
整74师在援兵迟迟不到，抵抗无效后，于当日下午倾全力分两路突围，被第7纵队打回，向西突围，被第1纵队击回。华野突击部队在猛烈炮火掩护下，乘胜向整74师连续突击。
到了16日下午，孟良崮上的敌军已经溃不成军，解放军已经控制了孟良崮所有的制高点。敌74师官兵被打伤一大半。解放军的一个特务团首先突破了孟良崮两侧，直取74师指挥部所在的山洞。张灵甫急忙命令他的参谋长带着警卫营冲上山腰，用猛烈的炮火阻止特务团前进。经过一阵激烈的拼杀，特务团把敌人打死了一部分，俘虏了大部分。特务团乘胜向74师指挥部的山洞逼进。1营3连指导员邵至汉首先冲到洞口，张灵甫的卫队长领着100多名士兵冲了出来，占据洞口附近的洞穴、石岩、石缝，拼命抵抗，邵至汉英勇牺牲。3连战士用复仇的子弹和刺刀消灭了敌人，控制了洞口。后续部队赶到以后，我军集中火力向洞内猛烈射击，接着战士们冲进了敌人指挥所敌军官兵纷纷就擒，猖狂的张灵甫及副师长蔡仁杰均被击毙。此次战役歼敌3.2万余人，其中俘虏1.9万人。