相传陶渊明归田后，常常到山南虎爪崖下的“濯缨池”沐浴。距“濯缨池”不远，有一巨石横卧山崖傍溪涧中，这便是当年陶渊明醉后高卧的地方，人称“醉石”，也叫“砥柱石”。 醉石高约3米，长6米，宽约4米，“形同小屋”，石面平滑如床，可容数十人坐立。石上赫然刻有朱熹书的“归去来馆”四字。《南史》载：“先生弃官归，亦常往来庐山中，醉辄乱石上，其石至今有耳迹及吐酒痕焉。”
