过天就门，便是佛图寺的遗址了。相传佛图寺为天竺高僧佛图澄所建，香火最盛时房屋达一百多间，可惜在1958年被全部拆毁。
沿寺后小径而上，便是耸立于悬崖绝壁之上的“天柱塔”，该塔由五块略呈方形的溶岩叠成，下小上大，险绝天工，别具一格。摩崖石刻颇多，有明嘉靖太湖县令罗汝芳题刻的楷书“天柱塔”；清太湖教谕阮裕题刻的楷书“乾坤一柱”。塔底有洞，沿壁有无名氏镌刻颜体“生白”二字；洞外，有楷书“八正桥”和“披石云”六字。八正桥边有明代陈明范题联“锦石巧留天柱塔，青山应作状元峰”。
在佛图寺，还有许多美丽的传说，“姑砌山门嫂砌塔”就是其中之一。相传古代有姑嫂二仙到佛图寺游玩，见佛图寺一无山门，二无石塔，便商议建造山门和石塔。姑投机取巧，认为山门好造，就选择了造山门，嫂无法推却只好造塔，二仙相约鸡鸣时完工，结果姑先把山门造好，故意装鸡叫，嫂以为天快亮了，只好将仅差塔顶没造好的石塔弃之而去，故今天的佛图寺石塔无顶。
千百年来，佛图寺吸引了无数游人，留下了大量石刻和诗篇。1981年，佛图寺摩崖石刻收录入《中国名胜词典》。1982年，太湖县人民政府又将其列入县级重点文物保护单位。
