雷祖祠始建于唐贞观十六年（公元642年），是纪念唐代雷州首任刺史陈文玉（雷祖）的相堂。雷祖祠依山傍水，风景秀丽，称“雷岗耸异”，为雷阳八景之一。祠依山而筑，山下是一望无垠的万顷洋田，形势十分雄伟奇峻。祠分三进，由山门、正殿、侧殿、后殿、东西庑、钟鼓楼、碑廊等建筑组成，全部建筑沿中轴线布局，极具唐朝特色。雷祖祠留下了丰富的文物，有千年石人、乾隆御踢匾额及历代碑刻30余通，还有很多名流墨客泼洒的壮丽诗篇，都是珍贵的精神财富。
