在高平、长子、长治三县交界处，山巅有两座石雕方形塔，塔侧石雕伏羊佛龛造像，头尾清晰，由此山状为羊头，故名。
羊头山梵刹，名曰清化寺，据记载始建于北魏孝文帝太和年间（四七七——四九九年），原名定国寺，北齐时改名宏福寺，隋末寺废，唐武则天天授二年（六九一年）重建，并改额清化。今清化寺建筑已不存，尚留石佛三尊、明碑一通和殿堂遗址，但寺周北魏至隋唐时期窟龛造像和石塔仍依然如故。
羊头山正面高峰凸起，左右山脉前伸，形如箕掌，石刻造像即分布于其间。
羊头山石刻造像和石塔，是羊头山历史遗物中的精华所在。它的分布，有的在山巅，有的在山腰，有的为窟，有的为龛，原有规模及顺序已不可考，现状可分为九区。较大窟龛二十二个，小型佛龛八十多个，窟洞平面多为方形。还有千佛碑一通，皆魏至唐物。山巅山腰雕石塔六座，唐制，高度4─6米不等，平面方圆两种，高者七层，密檐式，低者两层，楼阁式，形制古朴，手法简洁，为他处所少见。
主峰极顶列为首区，有石塔两座，佛龛一区，龛为三块巨石叠成，下为卧羊，中为佛龛，上为瓦陇式屋顶，龛内内置一佛二菩萨，佛像结跏而坐，面型衣饰皆属北魏风格。
