潘仙寺位于高州市区文明路冼太庙东侧,为纪念西晋时代岭南道教先驱者潘茂名而建。潘茂名,潘州(今高州市)人,永嘉中入山,遇仙翁点化,授其长生不老之法。他按其仙翁指点,采药炼丹,救苦救难,最后乘坐石船飞升而去。潘茂名飞升仙去后,当地群众创建有10多座不同风格的纪念建筑,以志纪念。其中较有代表性的有:东山的东山寺,潘坡的潘仙亭,笔架山的潘仙亭,城西的仙易亭,观山的潘仙殿。