小洋山旧称羊山，与大洋山以及沈家湾岛和唐脑山等均为崎岖列岛主要岛屿，列岛由83个小岛礁组成，多裸岩秃石，因路崎岖不平，故名。或说是因岛上多羊而得名。又因岛域较小而改称小羊山，后演写为洋山、小洋山，另有三塔山和猴山等名。
小洋山岛居大洋山之北，位菜园镇西南39公里处，距上海芦潮港30公里，面积仅1.76平方公里。岛上平地少，多秃岩，最高为观音山，海拔141.7米。1934年始建小洋乡，乡政府驻地南岙村。居民约3500余人，其先辈大多从宁波、温州、岱山、南汇等地迁入。
小洋山为崎岖列岛第二大岛，曾是小洋乡政府所在地。北距大陆（上海芦潮港）30公里，东距嵊泗县城菜园镇39.2公里。岛呈"士"字形，南北走向，两头宽大高耸，中部狭小低平。长约2.5公里，宽700米，陆域面积1.76平方公里，其中丘陵面积1.71平方公里。岛上群峰起伏，山势陡峭，平地甚少，多裸岩，最高点为南部大观音山，海拔141.7米。海岸线长14.21公里。
小洋山与大洋山同称"海蜇之乡"，历史上曾盛产大黄鱼，是传统的张网作业地区。 岛上旅游资源丰富，是嵊泗列岛国家级风景名胜区的景区之一，有人文及自然景点多处。岛上千岩竞秀，奇石有"石龙"、"双龙抢珠"、"姐妹石"、"石箱子"、"擂鼓石"等。文物古迹有千年乌龟潭、观音阁遗址、"勘定尽界碑"。此处尚有石刻9处，其中小观音山上有8处，"海阔天空"、"鲲鹏化处"、"倚剑"3方石刻被列为县级文物。"倚剑"每字径近一丈，为舟山群岛迄今发现的最大古石刻。惜历史悠久、气势恢宏的洋山庙和清康熙二十九年所立的"江浙沿海分界碑"今已不存。潮景惊心动魄的高泥湾沙滩已辟为海滨浴场。
..... 小洋山原名小羊山，因岛上多羊而名。小洋山开发较早，唐代已有居民，已毁的羊山大帝殿建于唐贞观四年。明、清时与大洋山同为江浙屏障、海防要地。明嘉靖时有官兵戍守防倭；清顺治年间郑成功、张煌言北上伐清曾会泊于该岛；乾隆、嘉庆年间水师屡战闽盗蔡牵于此。1934年建小洋乡。1950年7月7日解放，同年11月建小洋乡人民政府。1958年改为小洋生产大队。1962年与大洋、滩浒、徐公合建洋山人民公社，划属大衢县。1964年6月复归嵊泗县。1966年拆洋山公社，小洋山改建人民公社。1984年复置小洋乡。2001年与大洋镇、滩浒乡合并为洋山镇。
..... 2000年有居民1304户，3423人，辖3个行政村，有6个自然村。
小洋山历史悠久，唐大中四年（850）即有关于该岛的文字记载，据称当时岛上有座隋炀帝庙，不能不说是一件离奇之事。自宋至元、明的漫长时间里，洋山渔汛一直盛如海上大都会。作为明清水师海防要地，曾埋设有军事界碑，在岛上仰天盖山的东侧山岙中，有座称天后宫的寺庙，庙内原存江、浙二省巡哨分界碑。清初声势浩大的海上反抗运动，常取道洋山。顺治十五年（1658）九月，郑成功、张煌言再次在洋山会师北伐，遭遇大风而损失甚惨，传说郑成功部属在岛上烹羊而食，因此招来海难。此事虽纯属附会，但洋山确也养羊，今居民牧羊多移往相邻的锦鸡岛。1949年8月，国民党政府在大陆即将全面崩溃之际，蒋经国曾赴小洋山活动。
小洋山除丰富的人文景观外，自然石景风光颇称独特。著名景点为石龙、小观音山摩崖群两处，其他有姐妹石、高泥奇沙、乌龟石等。石龙景点位岛东部的大城子山中，为嵊泗第二大石之奇观。进山步步有景，游人首先看见乌龟石，石重数吨，斜依崖顶而引首向上，又称“石鸡望空”。沿石道攀登，石龙偃卧于山深幽壑处，分上下两条，背腹分明，相互偎依，蜿蜒于山岗之上，长约百米。细观石纹斑驳如龙鳞，龙前端有球状花岗石数颗，似二龙戏珠；龙尾处凹陷一洞，称石龙洞，深不可测。景点峰岩巍峨，石色浑厚而略泛金黄，游山有恍然误入画境之感。
小观音山有古摩崖石刻8处，山小而大石叠接，如巧匠所垒之天然碑石之山。“海阔天空”镌于山顶岩壁石匾中，为明万历三十六年（1608）游兵都司张文质书，是岛上最早的一方题刻。“倚剑”二字堪称“大字王”，镌于西坡巨壁，每字高3.8米，宽3.5米，系明万历四十一年青田知县举人李楷所书，笔力遒健，豪气撼人，是浙江岛屿中最大的摩崖石刻。其他题刻如“鲲鹏化处”、“中流砥柱”、“水天阔处”和“海晏波宁”等，皆浑雄大气，游客大多喜欢于此摄影留念。
