衢州孔庙位于市区东北新桥街东端。庙宇建筑占地十余亩，今之基址为明代正德十五年(1520)始建，而建筑基本上是清代道光年间大规模修建后的格局，但今之建筑物已是晚清之物。
照壁孔庙照壁称“万仞宫墙”，表示孔圣人格崇高、学问博大。此墙位于孔庙主轴线的南端，新桥街在照壁与庙门之间穿过。在建筑上照壁既使入口形成一个相对独立的空间，同时又与公共街区保持紧密联系。
先圣庙门这是家庙的大门。三开间门厅建筑，单檐歇山顶，两侧连接八字形墙垣，正对照壁。进入第一进院落，内有古银杏数株，高大挺拔，增添了孔庙的古雅肃穆之气。右侧墙上嵌有石碑七块，内容是历代修庙情况。
大成门明弘治年间有记载，正德末年家庙迁至西安县学旧址后改为仪门。为硬山屋顶，三开间加两挟屋，进深五檩。前后檐设石柱，月梁形阑额，各间于脊檩处设直实榻大门。从明正德《诏建衢州孔氏家庙》及清康熙孔氏家庙图来看，明代的大成门为重檐歇山顶建筑，到了清初已改成单檐歇山，如今又变为硬山屋顶，这是清末大修之物。三开间加两挟屋，这种型制恰与金代时曲阜北宗孔庙大成门相同。
大成殿此殿为孔庙主体建筑，位于第二进院落。院内古柏虬枝缠结，古雅非凡。东西庑各为九开间。明代弘治年间，东庑为待宾之所，西庑为孔氏家塾。以后随着家庙规模的扩大，东西庑改祀孟子、颜子、曾子等先哲，今为文物陈列室。外有甬道，甬道尽端是佾台，是祭孔子时歌舞礼乐之地。由此拾级而上，便是大成殿。殿建在高高的台基上，重檐歇山顶，巍峨庄严。大成殿宽16.6米，深16.5米，近正方形平面。梁架结构，上檐九架梁架，前后双步廊用四柱，下檐亦为双步廊，脊檩至室内地面高约10米。内部空间高敞，结构简朴无华，亦无斗拱。大成殿上铺灰色筒瓦，檐部施勾头滴水，翼角发戗起翘。
其余建筑有思鲁殿、起圣祠、极功祠、五支祠、袭封祠等。