慈姥山相传为南朝梁武帝萧衍长子萧统(即昭明太子)读书的地方。昭明阁内原建有临江楼、显化阁等,清咸丰年间均遭兵毁,同治六年(1867年)重建昭明阁,为三层建筑。民国时期被毁坏。历代文人多有歌咏昭明阁的诗赋,其中清代孙佩琳《昭明阁》诗云:“慈姥矶头一棹停,昭明书阁掩松扃。萧梁一代才人尽,山色六朝江上青”。