Debido a su importante situación estratégica como paso hacia el Cantábrico y centro de aprovisionamiento de una amplia comarca, se encontraba defendida por varias fortificaciones, situadas en El Castillo, Peña Barrio y Vallejera, así como la cercana de Peñas Negras en Arbejal.
La principal fortificación se emplazaba en lo alto la loma conocida como “El Castillo” que con sus 1077 metros de altura domina la villa por el oeste. Fue levantada en el siglo X para proteger a la población, hasta el siglo XVI, en que no siendo ya necesaria su protección, fue demolida aprovechando sus piedras para la construcción de la cercana iglesia de Nuestra Señora del Castillo.
Ferrant Petrez figura como tenente en 1125 de Cervera y de Mudá. Años después Alfonso VII encarga la custodia de ambas fortalezas, junto a otras, a Rodrigo Gómez de Manzanedo. Más tarde, su hijo Gómez González es confirmado en el puesto por Alfonso VIII.
En 1183 es Alvaro Rodríguez quien aparece como tenente de los castillos de Cervera y Piedras Negras. A finales de siglo ambos habían pasado a Pedro Rodríguez de Guzman, al igual que el de Tremaya, mientras que al inicio del siglo XIII Pedro Fernández es su responsable.
Figura entre los castillos que Alfonso VIII entrega en fidelidad por los tratados de Berdejo (1186) y Calatayud (1196).
Según Pascual Madoz, a mediados del siglo XIX aún se conservaban algunos restos, al igual que las otras dos fortificaciones de la localidad.
En el siglo pasado, durante la Guerra Civil, se instaló en su cima una batería militar, quedando restos de casamatas y trincheras, no conservándose ningún resto de época medieval.
Hoy una senda peatonal que parte de la Casa de Cultura lleva hasta su parte alta por un pinar repoblado entre 1967 y 1968.
Peña Barrio se sitúa a la salida de la población, en la margen izquierda del río Pisuerga. En su parte superior perduran los restos de una torre de planta rectangular con una longitud de casi 8 metros, por 6,5 de ancho. La altura máxima que se conserva son los 2,60 metros del lienzo Norte. Se encuentra construida con sillarejo relleno de mampuesto, presentando sus muros una anchura próxima a los 2 metros, salvo el frente Sur, el más inaccesible, que es sensiblemente más estrecho al estar protegido por la verticalidad de la roca. Quedan restos de un foso en la parte inferior del frente Norte, el de más fácil acceso.
Al igual que los demás castillos de la localidad, a mediados del siglo XIX ya sólo quedaban restos.
En sus laderas se edificó la iglesia de Santa Cecilia, ya desaparecida, junto a la que creció un pequeño núcleo de población. Se ha hallado abundante cerámica medieval de los siglos VIII y IX, así como tumbas antropomorfas aparecidas al instalar el tendido eléctrico.
Al sur de la localidad, en el paraje conocido como “La Vallejera”, se encuentran restos de mampostería correspondientes a los cimientos de la torre del Castillo de Vallejera. Se sitúa en una zona rocosa y arbolada, al lado del río Ribera (Cenadero) y la carretera que conduce a Vado, enfrente del eremitorio de San Vicente. También es conocido como castillo de Vallojera.
Juan de Velasco compró el castillo en 1405, que fue heredado en 1418 por su segundo hijo, Fernando de Velasco, señor de Cervera y primer conde de Siruela, que junto con su mujer Leonor Carrillo habitan esta fortaleza al igual que sus sucesores hasta al construcción en el casco urbano de la villa de un palacio-casona en 1799.
A mediados del siglo XIX ya solo quedaban los restos de lo que fue el castillo, al igual que de los otros dos de la localidad.
Pocos años antes de mediados del siglo XV se instaló en sus cercanías el monasterio de la Ascensión, de la orden de San Agustín, ya desaparecido, cuyas piedras se utilizaron en la construcción del Fuerte de Cervera.
Además se sabe de la existencia en 1409 de una torre y casa-fuerte propiedad de doña Leonor de la Vega gracias al pleito que sostuvo con los Condes de Castañeda.