钟鼓楼为一组建筑，形制也相同。据《析津志》载文：钟楼“阁四阿，檐三重，悬钟于上，声远愈闻之，”后毁于火。明永乐十八年（1420年），在修建宫室的同时重建，不久又毁于火。直至清乾隆十年（1745年）又奉旨再次重建，两年后竣工。重建时为了防火，整个建筑采用砖石无梁拱券式结构。钟楼南门矗立的《乾隆御制重建钟鼓楼碑记》详细记载了当时修建钟楼的情况。

在1750年历时五年绘制的最早实测地图《乾隆京城全图》上，钟楼的位置显示是坍塌状态。

1860年，第二次鸦片战争进入最后一年，英法联军攻入北京，清道光皇帝逃往承德，英法联军闯入圆明园并掠夺珠宝、将其焚毁。

清政府面临军事行动的威胁，先是激烈交战，而后经过谈判，在10月13日将安定门的控制权移交给了英法联军。英法联军就这样进入了北京城。

英法联军中的一部分人登上安定门城楼。他们中有一个身穿上校军服的法国军人，拿着一个发明不久的照相机，查看着地形，他是法军测绘部负责人，他叫查尔斯-杜宾，此时正是北京一年当中最美的秋季，秋高气爽、枝繁叶茂。

安定门城墙是北京内城的北城墙，当杜宾沿着城墙移步西行时，西南方向，两座高大的建筑吸引着他。尽管杜宾站在城墙上，他依然需要仰视那两座比城墙还要高的建筑。此时的太阳刚刚从东南方向升起不久，斜射而来。他将镜头朝南，由北向南，随着快门按下，北京钟鼓楼的合照就这样诞生了。这也是北京城内第一张照片。

顺着钟鼓楼向南一条直线延伸，远处是两座小山包，山包上有一高一低两个亭子，高的亭子是景山上的万春亭，西侧矮一点的亭子是辑芳亭，钟楼、鼓楼、景山万春亭被一条笔直线穿在一起，这条线就是北京中轴线的北段。自钟鼓楼到景山。这里是北京中轴线的北段，北京城作为都城悠长的历史便从这里开始。