De su antiguo castillo, ya mentado en el siglo XI, se sabe de su emplazamiento, en la parte más alta, en el lugar que ahora ocupa la plaza de toros edificada en 1952. Poco se sabe de sus orígenes, por los restos conservados parece que estaba construido en su mayor parte en mampostería. Pudo estar rodeado, al menos parcialmente, por una cava. De él se sacó piedra en 1552 para la construcción de la Puerta Nueva.

En 1746 el Duque de Frías da permiso al Ayuntamiento para que "de los despojos de su palacio saque o permita deje sacar piedra, teja, madera que se hallaren para ayuda de reedificar la cárcel alta que está a la puerta que llaman de Aguilar".

En 1812, durante la Guerra de la Independencia, los cuerpos españoles quemaron la casa castillo para evitar que sirviese de defensa a las tropas francesas. Posteriormente fue vendido a un particular en la segunda mitad del siglo XIX, siendo adquirido en 1876 por el Ayuntamiento, y sufre diversas reformas y adaptaciones hasta su derribo en 1950.

También aparece mencionado en la documentación un torrejón, situado cerca de la puerta de Santa María, en lo que hoy es el Paseo de los Tilos. Debió de ser una torre pequeña que pudo emplearse como prisión ya que en algún documento se la denomina como "cárcel baja", mientras que la "cárcel alta" pudo ser la ubicada en la Puerta de Aguilar. Fue demolida en 1677.