当对方的城墙和工事越来越坚固之时，新兴的火炮变成了极为重要的武器。在巨炮所到之处，没有那座城池仍然会坚不可摧。但与此同时，这些巨炮的重量和体积都非常庞大，运输起来极为麻烦，需要消耗大量的人力和畜力。随着工业革命的到来，蒸汽机发明后，火车也出现了。
将巨炮的威力和火车的机动能力结合起来，于是就有了铁道炮，而最先这样用的是美国人。南北战争期间，乔治·麦克利兰少将率领的部队在1862年的半岛战役中率先使用铁道炮。南方邦联军队将一门可以发射31磅炮弹的舰炮固定在平板车上，并给它安装了一个简易的炮塔，整体结构类似于“弗吉尼亚”级铁甲舰的陆地改型。而在1864年的彼得斯堡围城战之中，北方联邦也用上的类似的铁道炮，其中最为出名的是“独裁者”海岸臼炮，曾经给南军造成重大的损失。
随后，铁道炮的发展相对沉寂了一段时间。到20世纪初，法国军工企业尝试将重炮安装在火车拖挂的大型平板车上，而后有多种口径的火炮也开始走这条路子，不仅仅有155毫米的榴弹炮，还有更大口径的200毫米和320毫米榴弹炮。第一次世界大战期间，这些铁道炮大多由海军或岸防部队来操作。
在20世纪初，铁道炮经历着一个非常辉煌的时期。当时，列强都希望拥有威力更加强大的巨型铁道炮，而且其研发过程都严格保密。例如，克虏伯和斯柯达公司就分别研制了420毫米和305毫米的超大口径榴弹炮。后来的实战表明，这两种巨炮在打击比利时和法国的要塞时非常有用。
19，克虏伯公司的弗里茨·劳森·伯格教授成功将几门经过改装的舰炮安装在平板车上，从而研制出首批系列化的远程铁道炮。其中两门380毫米的铁道炮被德军部署到凡尔登地区，其中一门在192月21日的进攻行动中向法军目标开火，“法军的铁轨很快就被炸得像扭曲的电线一样”。其实在凡尔登地区，法军也曾使用过铁道炮，部署400毫米的铁道炮向德军后方目标发起轰击。
到第二次世界大战期间，德国仍不遗余力地研制铁道炮。根据统计，到1945年时，德国先后总共研制了12种不同型号的铁道炮。而且，德军还将缴获的大量捷克和法国铁道炮部署到海岸，以抵挡盟军的进攻。德国最成功的铁道炮非K5（E）莫属，该型炮总共制造了25门，其重量高达218吨。
其中有两门炮曾经用于阻挡盟军登陆，对其形成了一定的干扰。它们只能借助隧道进行零星的发射，但由于很会躲藏，盟军的飞机始终都没能将其摧毁，只能偶尔截击运载炮弹的卡车。
而世界上最大的铁道炮，也是由德国人研制的。这种铁道炮共生产两门，分别为“古斯塔夫”和“多拉”，其重量高达1350吨，口径为800毫米，炮管长28米，可以将4吨重的炮弹发射到47千米以外。操作这样的一门重炮，需要1420人才能完成。然而“多拉”和“古斯塔夫”也成为铁道炮领域的最辉煌的绝唱。
随着轰炸机和导弹的发明，铁道炮的局限性就逐渐显现出来了。这种只能打几十公里的巨炮，很容易成为轰炸机的靶子。同飞机相比，它们行动较为缓慢，成本高昂，需要大量的人来维护和操作。再则，尤其是随着弹道导弹和巡航导弹的大规模使用，铁道炮就逐渐变得像史前怪物一般。而今天，弹道导弹能够攻击上万千米以外的目标，相比之下要建造这样一门威力和射程与之相仿的巨炮，那成本将花到老鼻子去了。于是，铁道炮谢幕，在现役军队之中销声匿迹。
