已知最早的建于此处的要塞是克劳狄乌斯用来保护伦迪尼乌姆（Londinium）的罗马城堡。
早在11世纪80年代，征服者威廉（1066-1087）开始修建伦敦塔。
伦敦塔的历史始于1066年忏悔者爱德华去世，其姐夫被加冕，但时任诺曼底公爵的威廉声称自己作为远亲也曾被许诺为王位继承人。威廉在黑斯廷斯战役中打败了英国国王哈罗德，之后派出了先遣部队到伦敦建造一个堡垒并为他的凯旋入城做准备。
在他于1066年圣诞节在威斯敏斯特教堂加冕后，在市区建造了几个据点为防范庞大而激烈的人群变化。考古证据表明其中一个据点位于罗马城墙的东南角，即未来伦敦塔的遗址。这些早期防御工事被一座巨大的白塔替代，以宣告新诺尔曼君主的强大力量。还不清楚征服者的白塔建造工作开始或完成的具体时间，但可以肯定的是建设第一阶段的工作是在11世纪70年代起步。盎格鲁-撒克逊编年史1097年评论：“由于要修建围绕高塔的墙许多郡的劳工被征调往伦敦并辛劳工作”。
白塔于1100年完成。
塔的故事在中世纪继续着，由于作为和平时期的权力中心和危机时避难所，中世纪的国王们不断更新和扩张塔的防御工事。
到约1350年，一系列的独立建筑活动保证了该塔转化为令人生畏的要塞。这些建筑工程在狮心王理查一世统治时期开始，理查一世离开英格兰后将塔留给他的总理William Longchamp，这个人为要塞扩建了一倍规模的防御工事。
之后国王的弟弟约翰（1199-1216）夺权上位，理查一世1194年回归后重回控制，原谅了约翰并最后授他为继承人，约翰可能是第一个让狮子和其他外来动物呆在塔里的国王。约翰在1215年六月通过发布Magna Carta宪章对贵族做出让步，但很快便食言了，他的对手控制了伦敦和塔后于1216年邀请法国王子路易斯入侵来接任王位，但约翰突然去世，其年仅九岁的儿子亨利三世（1216-1272）继位。几个月后在林肯郡之战中击败了法国，少年国王的摄政评议会为塔中的皇家住宿开始了大的扩建，包括在滨水区的两座新塔：the Wakefield和the Lanthorn。
当1238年贵族叛乱引起亨利在塔中避难，他很快注意到城堡防御力量的薄弱点。于1238年他开工进行一个北部及东西两侧大规模的幕墙建筑，通过九座新塔和佛兰芒（比利时西北部地名）工程师John Le Fossur挖掘的一条护城河。
国王爱德华一世（1272-1307）在1275至1285之间花了很多钱，填了护城河又建造了另一圈城墙来封闭现存他父亲建造的，以及又挖了新的护城河，将塔改造成英格兰最强大的同心防御城堡。尽管打造舒适，他很少呆在塔中的皇室住所，在其统治时期该塔被投入其他军事或储存用途，经常作为一个监狱以及爱德华存储官方文件和贵重物品的保险库。英国皇家造币厂的主要分支机构亦成立于此，并作为城堡历史上的重要用途之一直到19世纪。
征服者威廉命令人建造白塔以保卫诺曼人免受那些住在伦敦市的人的袭击并保卫伦敦免受其他人的攻击。较早时的要塞（包括罗马的那个）都是用木建造的，不过， 威廉命令他的下属用他从法国运回来的大石来重建那座塔。狮心王理查修建了围绕城墙的护城河，并把泰晤士河水引入。护城河的修建一直不太成功，直到亨利三世引用了一种荷兰护城河修建技术。后来护城河水于1830年被抽干，在河底的废物中发现了人类骨骸。
到英国旅行，闻名遐迩的伦敦塔是游人必到之处。它紧靠泰晤士河北岸的塔桥附近，是一座具有九百多年历史的诺曼底式的城堡建筑。
伦敦塔是由威廉一世为镇压当地人和保卫伦敦城，于一〇八七年开始动工兴建的，历时二十年，堪称英国中世纪的经典城堡。十三世纪时，后人在其外围增建了十三座塔楼，形成一圈环拱的卫城，使伦敦塔既是一座坚固的兵营城堡，又是富丽堂皇的宫殿，里面还有天文台、监狱、教堂、刑场、动物园、小码头等小建筑。
伦敦塔最重要、最古老的建筑是位于要塞中心的诺曼底塔楼，它是整个建筑群的主体，因其是用乳白色的石块建成，史称白塔。白塔系主人居住与守备部队进驻之所，最为坚固，在某种程度上象征着征服者威廉日益巩固和扩大的权力。楼高三十二点六米，共分三层，墙体厚度不一，从三至四米到四至六米，双层墙壁，窗户口很小，门窗之间用白石相隔，其顶部呈雉堞状，塔楼四角耸出四座高塔，三方一圆，在角隅设有螺旋楼梯，通达顶层。
伦敦塔在英国王宫中的意义非常重大，作为一个防卫森严的堡垒和宫殿，英国数代国王都在此居住，国王加冕前住伦敦塔便成了一种惯例。伦敦塔还是一座著名的监狱，英国历史上不少王公贵族和政界名人都曾被关押在这里。此外，古老的伦敦塔在历史上还充任过造币馆、观象台、动物园等。
后来这里成为宫廷阴谋和王室斗争的地方。英王爱德华四世的两个幼子，爱德华之前的国王及堂兄与弟弟，亨利八世的两个王后，先后被囚禁在这里并被处死。在很长一段时间里，伦敦塔成为令人毛骨悚然的“死狱”。
当然，现代的伦敦塔内早已不再有不见天日的囚犯，只有从十三世纪开始住在这里的渡鸦还没有搬走。传说如果渡鸦离开这里，塔就会倒掉，王朝就会垮台。因此，这些渡鸦祖祖辈辈就成为最受娇宠的常住客人了。
伦敦塔的整体建筑包括如下一些塔楼：
Beauchamp Tower
BellTower
Bloody Tower 血腥塔
BowyerTower
BrickTower
BroadArrow Tower
BywardTower
ConstableTower
CradleTower
DevelinTower
DeverauxTower
FlintTower
LanthornTower
MartinTower
MiddleTower 中塔
Salt tower
St Thomas's Tower
White Tower 白塔
SaltTower
Tower Green 格林塔
WakefieldTower
WardrobeTower
WellTower
