曹州府志记载：“曹州北50余里，有曹寺，香火盛大”，“黄巢曹寺誓师西征。”据说，黄巢集结了黄巾军，在曹寺（清凉寺）开会宣誓，西征长安。黄巢起义失败后，黄氏宗亲为了躲避官府追拿，在曹寺附近定居下来。据说清凉寺南10华里有黄营村，乃黄巢后裔。
北宋时期，佛教盛行，曹寺改名清凉寺。当时，在曹州、濮州一带颇具盛名，殿堂宏伟，雕龙画栋，建筑规模宏大，有前、后大殿东西廊房，古铜钟及山门院墙等。庙内塑有释迦牟尼、菩萨、十罗阎君及关羽等，僧侣众多。曹州府志记载“曹州七十单三寺，清凉寺院闻钟声。”清凉寺内有一口大钟，用青铜所铸，音质浑厚，声闻十余里。如遇紧急事情或洪水灾难来临，寺内钟声响起警示信号，告诉附近的村民躲避灾难。被当地人成为神钟，此钟现在仍被埋在地下，现有八十上下的老人都见过此钟，具体位置以待探测。
明清以来，清凉寺更是佛教文化传播的中心，濮州县志记载：“濮州南50余里，有清凉寺，每年四月八日庙会盛大，商贾云集”。当时方圆几十公里的人都来烧香拜佛，买卖更是兴旺。据说庙会期间，董口、临卜及周边集市冷落无人。庙前姬庄村的井水都被打干了。
后来，因黄河改道，洪水泛滥，加之战争荒灾，不幸毁于民国十四、二十四年两次水患，清凉寺几度兴衰，最终被夷为平地。
据清乾隆年间行唐县志记载，清凉寺是金大定，即1161—1190年间修建， 清凉寺占地13.7亩，周围辖土地164亩，属于刘磁沟村、吴磁沟村、陈磁沟村、和南王庄村的共同财产。每年的六月初六至七月初六的五台山大庙会时，南方的僧侣们到五台山进香，经过清凉寺，都要在此休息几天，再向北进发，因此，该寺又称为“歇脚寺”。
史料载，清凉寺住持是五台山派遣的高僧，直属五台山管理，是五台山寺的主要组成部分。它的历史作用和价值引起了历代王朝的重视，每个朝代都曾修缮，甚至重建过，才使这座千年古刹得以繁荣昌盛，经久不衰。清凉寺内有石碑30余块，碑文记载了该寺历次修建、重建及重修，其中一次重大重修是明永乐年间已亥季春。
清凉寺不但建筑艺术高雅，其坐落环境也让人留恋不舍，加之得天独厚的交通条件，成了人们去五台山旅游的第一站。寺中大殿的“三菩萨”壁画更是名扬天下，历史上的文人学者、诸家名流、达官显贵、名道高僧，到五台山旅游时都到此一游，专门来欣赏壁画，领略风采。可惜的是1926年被英国人买走，至今藏于大英博物馆。
