杨时是北宋著名理学家，号龟山，曾受业于程灏、程颐兄弟，最早把二程理学传入福建，开创理学的“道南系”。杨时之后，有罗从彦、李侗、朱熹相继承传。至朱熹时，发展为与“濂学”、“洛学”、“关学”并称的“闽学”。因此，杨时被尊为“闽学鼻祖”。
龟山故里始建于宋，后毁于火，仅存明崇祯年间(1628～1644年)所建棂星门石牌坊、清康熙年间(1662～1722年)建的德星坊石碑及“杨龟山故里”、“德配天地”、“倡道东南”等石碑和匾额。
附近的龟山俗称文帽山，以形得名。山中有龟山洞、白石寨、凤凰岩、突瀑泉等景。龟山，洞内钟乳千姿百态，洞顶常年滴水，盛夏犹凉；白石寨为石灰岩，以石白得名，孤峰拔起，寨顶有石庙，现名西山寺；凤凰岩，掩映在半山腰松林中，有一石形如凤凰得名。杨时少时常读书于此。
