始建于明弘治一十七年(1504年),先后称望江门、临江门、临江楼,1919年知县吕佐文主持补修,改名为利济门。城楼为2层楼阁,下层为高大石拱城门,上层为重檐歇山顶楼阁,楼阁有四排三间,砖木结构,长13m,宽8.5m,四面直廊,两端对称,石阶下至城墙。