它和小北门有着几乎同样久远的历史，但是，它却被人们遗忘了很久。它所以被人们遗忘，那是因为从明初到清末数百年的漫长岁月里，这里太荒凉、太偏僻了。
小北门街，自然是得名于小北门了，而这个小北门的正宗大号，原本叫做“拱极门”，是当年“锦绣太原城”的八个出口——八座城门之一。因为它与镇远门同时辟建于太原城的北城垣，而且，建筑规模、地理位置、交通作用均不及镇远门，所以镇远门得了“大北门”的别号，它却只能屈居于次，叫做“小北门”。
早在明代之前，今小北门一带是乱坟参差的郊野荒坡。明初，这里虽圈入城中，成为城内的一爿之地，但是，在整个明代的 200多年和清中叶之前的近百年中，它仍旧是荒草萋萋，墓冢点点。仅是在城门根及附近有几舍守城士兵的营房、简陋的兵器库和星散的住户，形成一道走巷，虽取名叫小北门街，对“街”字实在是有些委屈。
直至清乾隆年间，在晋王府的废墟上建起了精骑营，常有营兵出没于小北门和小北门街。而位于该街的两侧又建起了一些军卒号会，城外也迁进一些菜农，在城东北隅的荒地上垦植一些菜地，多年荒凉冷清的小北门街，才略略出现了一点生机。然而，此景不长，逮至嘉庆之后，清王朝江河日下，一帝不如一帝。为城内安全起见，干脆将小北门堵塞，与城外完全隔绝。除城门楼子和关城上象征性地设置了一些长年不用的土炮外，连守城的戍卒也裁减不用，只留五名游兵散勇，充作耳目。小北门徒具形式而且。而交通的断绝、民户的迁走，使小北门街有其名而无其实。
至于小北门之外，仅有一条小径通往北沙河，城关与沙河之间，除去几片菜畦，均为无主官地。每逢夏秋两季，东山洪水暴发，这里顿成汪泽，年之既久，遂成一片水潭，时人称其为“北门海子”。而在水泽中稍高的那片滩地，即小北门街关城外的那一段路址，便得名“海心滩”。
民国初年，太原经济略有回升，人口相对增加，加之阎锡山为巩固自己既得的政权，积极扩充军队，创建军工工业，努力倡导教育，兴建学校，于是，空旷多年被遗忘的小北门街以及小北门一带，变得金贵起来。在不长的几年中，军营、军训操练场、军火仓库，取代了往日的枯草荒丘。一些城内无地无房民户，也先后乘机在小北门街盖起房舍和简陋的窝棚，聊以栖身。尤其值得一提的是，当时省城颇有些名气的“山西省立国民师范学校”也是在这一期间，创办于小北门街的一侧。这一切都使这片数百年来无人问津的偏僻之壤，得到了较为迅速的开发，很快繁闹起来。
山西省立国民师范学校，简称“国民师范”，口语表述时往往只用两个字“国师”。它创办于民国八年（1919年），在抗战前的十大几年中，一直是省城太原极有影响的学校。首先，它校舍宽敞，设备齐全，在校学生人数最多。其次，它注重职业教育，重视对学生实用工艺的教育，最早兴办了校属工厂、农场。第三，也是最重要的，那就是学生思想活跃，积极投身于学生运动，在太原享有“革命启蒙的摇篮”之称，与当时的山西省立一中并誉为太原学生运动的中心。不少老一辈无产阶级革命家就是从国师走上革命道路的，最著名的诸如薄一波、程子华、段若宗等等。
对于国师师生们的革命活动，阎氏政权极度恐慌，遂于民国25年（公元1936年），以学生殴打警察致死一案为借口，勒令停办，改组学校为“太原初级工业学校”。一直到抗战胜利后的民国35年（公元1946年），国师才又恢复。
小北门街在太原名声的鹊起，是与国民师范在此街的创办分不开的。
