明朝时，北京设有东、西、南、北、中五城兵马司，这种机构隶属于兵部，但并非军事组织，没有野战任务，只负责京城的治安、消防、市政管理等。清代沿袭了五城兵马司设置，直到1901年撤销。兵马司撤销后，留下了两个沿用至今的地名，一是兵马司胡同，即原来西城兵马司驻地，位于现在的西城区；二是北兵马司胡同，即原来北城兵马司驻地，位于现在的东城区。

兵马司的历史，可以追溯到元代。元大都时期，北京设有兵马都指挥使，分为南北二司。当时的兵马司为军事组织，主要职责是警戒与保卫大都城。此外，还要配合左、右警巡院，兼管民事及供需事务。到了明代，警巡院撤销，职能并入兵马司，并增设东、西、中三城兵马司，形成了东、西、南、北、中五城兵马司格局，各设指挥1人，副指挥4人。

据《明史·职官志》载：兵马司“巡捕盗贼，疏理街道沟渠及囚犯、火禁之事，凡京城内外，各划境而分领之”。因此，兵马司的性质发生了转变，从军事组织转变为综合管理机构。兰陵笑笑生的《金瓶梅词话》里有一句歇后语：“兵马司倒了墙——贼走了。”意思是兵马司的围墙倒塌后，关押的盗贼趁机逃跑了。撇开引申成分，由这句话可知，抓贼和看管囚犯成了兵马司的一项主要职责。

清代沿袭了明代的兵马司制度，兵马司指挥使为文官建制，手下虽有兵丁和战马，但不行军打仗，主要从事京城的治安管理。不同的是，明代兵马司隶属于兵部，而清代兵马司隶属于都察院。

起初，兵马司官员清廉勤政，巡夜尽心尽力，一旦辖区内发生盗窃、火灾等，皆能及时处置，而且不收任何额外费用。但后来渐渐懈怠，对盗贼睁一只眼闭一只眼，甚至收受贿赂，与盗贼同流合污。于是，民众怨声载道。光绪十六年（1890年），有大臣向皇帝禀奏：“京城地面，捕务不力，请饬整顿。”然而，整顿来整顿去，收效甚微。风头一过，变本加厉。光绪二十七年（1901年），光绪皇帝下令，撤销五城兵马司，成立工巡局。光绪三十一年（1905年），又撤销工巡局，成立巡警部。当时，北京设置警察总厅和内外城警察厅。从此，北京有了从事治安管理的警察。宣统末年，设置警察厅派出机构，内城有派出所204个，外城有派出所136个。

回过头来还说兵马司。兵马司正指挥使驻扎在中城兵马司，位置约在今鹞儿胡同，其他四个兵马司由副指挥使管理。五城兵马司撤销后，留下了三个地名，分别为西城兵马司驻地的兵马司胡同、北城兵马司驻地的北兵马司胡同和南城兵马司驻地的南兵马司胡同，而东兵马司位于东四，则没有留下地名。1965年整顿规范地名时，由于南兵马司胡同位于前兵马街与后兵马街之间，更名为中兵马街。1997年，中兵马街这一名称废止。而兵马司胡同和北兵马司胡同这两个名称，保留下来并沿用至今。