491年，北魏朝廷把道家的道坛从平城移到恒山，当时的工匠们根据道家“不闻鸡鸣犬吠之声”的要求建了悬空寺。在建造悬空寺时，工匠们首先要布置横梁，然后再在山脚下，制造出每一个建筑上使用的木质构件。所用的木材是经过桐油泡过的，能够有效地防止虫蚁的腐蚀。
用的木头也是当地产的铁杉木，这种木头适合于建筑、造船等，以保证悬空寺千年不坏。等所有的木构件都造完后，再把它们搬运到山顶拼接起来，昀后再用绳索把这些部件放在山腰。
另外，悬空寺的选址也颇有讲究。悬空寺所在的翠屏峰从高处看是一个内收的弧形，对面的横山主峰也是一个内收的弧形。两座山的山峰就像两只手一样包拢着悬空寺，使悬空寺的日照时间很短，避免了暴晒。