新中国成立后，任中央人民政府委员、人民革命军事委员会副主席、西北军政委员会主席、中共中央西北局第一书记、西北军区司令员。1950年10月，出任中国人民志愿军司令员兼政治委员，指挥中国人民志愿军赴朝鲜作战。经过著名的5次战役，粉碎了美军对朝鲜北部的进攻，迫使美国在停战协定上签字。1952年回国主持中央军委日常工作。1954年后任国务院副总理兼国防部长、国防委员会副主席，对中国人民解放军的现代化、正规化建设，作出了卓越的贡献。1955年被授予中华人民共和国元帅军衔。1956年在中共八届一中全会上，当选为中共中央政治局委员。1959年7月，在庐山会议期间，因为反对大跃进和人民公社化的“左”倾错误，为民请愿，而受到错误的批判，被打成“彭、张、黄、周反党集团”的骨干成员，免去国防部长职务。1965年重新工作，被任命为“三线”建设委员会副主任。