相传为晋代东方名僧慧远采撷花卉、草药处。这儿四时花开，犹如锦绣，故名。北宋文学家王安石诗云：“还家一笑即芳晨，好与名山作主人。邂逅五湖乘兴往，相邀锦绣谷中春。”据说是他游览即兴之作。 沿锦绣谷傍绝壁悬崖修筑的石级便道游览，可谓“路盘松顶上，穿云破雾出。天风拂衣襟，缥缈一身轻。”谷中千岩竞秀，万壑回萦；断崖天成，石林挺秀，峭壁峰壑如雄狮长啸，如猛虎跃涧，似捷猿攀登，似仙翁盘坐，栩栩如生。一路景色如锦绣画卷，令人陶醉。
