公元前7世纪左右，战国时代的楚国，率先将西北、北、东北方向的烽火台和城堡用防御城墙串连起来，总长约500千米，称为“方城”。公元前5、
6世纪，齐国又修筑了一条东西走向的城墙。到了公元前4世纪，秦、燕、韩、赵、魏等国，也各自在领土上修筑了长达几百千米的城墙，作为相互防御的工事。大约在同一时间，中国北方的游牧民族，如东胡，匈奴等，经常南下侵犯燕、赵、秦的领土，抢夺牲畜和粮食，甚至将人民抓去作奴隶，因此这三国涂了在与邻国的边境上筑城墙，另外又在北方建城墙，这便是以后秦始皇修筑万里长城的基础。秦始皇吞并六国，一统天下后，根据《史记·蒙恬传》的记载：“始皇二十六年，使蒙恬将三十万众，北逐戎狄，收河南，筑长城，起临洮，至辽东，延袤万余里”。秦长城的西段是沿秦昭王的旧城修缮而成，北面、东面则是连接赵、燕的旧城，西起高阙，东到造阳，再东行，抵达辽东。修筑时间从秦始皇三十年伐匈奴开始，以八年时间筑成。当时的长城长一万余华里，等于5000多千米，因此这一时代的长城便有了“万里长城”的称呼。
秦始皇时代的长城虽已达万里规模，可是汉朝的长城更加宏伟，长度达
10000多千米，是历史上将长城修筑到最长的时代。防御匈奴是汉长城的首要目标。西汉初年，匈奴首领曼单子之子冒顿，不但侵占邻近部落还南下蚕食中原国土，汉高祖刘邦曾亲自率兵
32万，驱逐匈奴，连打胜仗。但由于西汉王朝才刚建立，政权还不稳固，所以采取与匈奴和亲的政策。然而在和亲的几十年中，匈奴人还是不断地骚扰边境，汉文帝、汉景帝曾多次反击，到了汉武帝时期，他不但命卫青、霍去病大破匈奴，同时还修缮并新建长城。所建长城西起大宛贰师城、赤谷城、经龟兹、鸟耆、车师、居延，沿着燕然山，胪朐河一直延伸到黑龙江北岸，其工程之浩大，远远超出秦始皇时代。这个时期长城的结构也有了改变，长城的建址选在险要的地形上，并在墙上相隔一定的距离修筑城堡、关隘和烽火台，因此汉长城不仅只是一道墙，而且还是坚固的防卫阵线。《汉书·匈奴传》记载：“是时，汉边境烽火候望严明，匈奴为边寇者少利”，在此之后，“匈奴远遁，汉南无王庭”了。后来唐朝的版图超过长城以北，宋朝的版图在长城之南，过去的长城已失去作用。元朝则因版图广大，而且统治者本身就是游牧民族，所以也没有必要修长城。到了明初，蒙古人仍不断南下侵略，同时东北又有女真族兴起，因此北方的防御又显得格外重要。朱元璋在即将统一全国的时候，就采纳了安徽休宁人朱升“高筑墙、广积粮、缓称王”的建议，以空前浩大的手笔，用砖包砌长城的夯土墙体，并在王朝建立后的两百多年中，几乎没有停止过修筑长城。明朝的长城西起嘉峪关，东至鸭绿江，总长度至少7300千米。