原称“崇圣庙”，始建于宋熙宁壬子年（1072年）。现存建筑为清道光二年（1822年）时重建，系学宫建筑群的主体部分。该庙东西长91m，南北宽33m，占地3003m2，分文武两庙，建筑面积1538m2。文庙由内外两院组成，外院有月光塘和高约10m的石碑楼。内院有孔圣殿、亚圣殿和左右厢房，结构严谨，雄奇古朴。内院中的孔圣殿，乃一重檐歇山顶建筑，高10.5m，内出12根红漆大木柱支撑，金碧辉煌，光彩夺目。原有“至圣先师”孔子牌位，上悬“万世师表”横匾。殿前为石雕平台，围有雕花石栏，间有汉白玉云龙和青石二龙戏珠浮雕。民国以前，店内藏有各类文物及古典书籍1万余册，至今仅存铜钟滴水和祭奠孔丘的象尊、牛尊、麒麟尊及一部分仿商造爵杯等。1925年，中共安化县委即以此地为据点，点燃该县农民革命运动的烈火。20世纪70年代后，安化县人民政府两次拨款维修，原有建筑已改旧观。
