退思园建于清光绪十一年至十三年(公元1885一1887年)，园主任兰生，因人弹劾被革职，取名“退思”以期补过。园的设计者袁龙，诗文书画皆通，他据水乡特点，精巧构思，用两年时间建成。园占地虽不足0.65公倾，却集多种造园手法于国内，堪称园林精品。
退思园住宅分内外两部分。外宅三进——轿厅(门厅)、茶厅、正厅，沿轴线布置，等级分明。外宅主要用于会客、婚嫁盛事、祭祖典礼。内宅建有南北两幢五楼五底的跑马楼，名日“畹多楼”，楼间由双重廊贯通。廊下设梯，既遮风雨，又主仆分开。内、外宅可分可合，布局紧凑。
中庭为住宅的结尾，也是住宅向花园的过渡。庭院以“坐春望月楼”为主体，楼的东部延伸至花园部分，设一不规则的五角形楼阁，名为“揽胜阁”。楼前置一旱船，船头向东，直向“云烟锁钥”月洞门，宛如待航之舟，将游人引向东部花园。庭前植香樟、玉兰，苍劲古朴。小院所用笔墨不多，却引人入胜，衔接自然，为花园起到绝好的铺垫作用。
