Al noroeste de la villa, en lo alto de un peñasco de 970 metros de altura, se localizan los restos del formidable castillo. Construido entre los siglos XII y XIV, inicialmente fue una torre fuerte levantada en época de la reconquista, ya mencionada en el año 979. La primera noticia que se tiene sobre la tenencia del mismo corresponde a 1125, en que figura a cargo de Rodrigo González de Lara.

El recinto presenta planta trapezoidal, con cubos macizos situados en las cuatro esquinas y en el centro del lienzo sur. Los gruesos muros de sillarejo, más delgados en el flanco oeste, sólo se interrumpen junto a la esquina noroeste donde se derrumbó parte del lienzo norte.

La longitud de los muros va decreciendo pasando de los 40 metros de largo que presenta el situado al este, a los 38 del sur, 31 del oeste, terminando con los 20 del muro norte.

La entrada al castillo se realiza por medio de una puerta de arco apuntado situada en el lado izquierdo de la fachada este. Encima de ella aparecen dos escudos de armas muy desdibujados. Entre esta puerta y el cubo de la esquina sureste se aprecia la antigua entrada, que tenía un arco de medio punto y se tapió al abrir el nuevo acceso al ser de menores dimensiones. Por sus características se podrían fechar entre los siglos XIII y XV.

El lienzo sur fue objeto de una restauración en los años 1966 y 1967 puesto que únicamente se mantenían en pie los cubos y la parte inferior de los muros. Un portillo, junto a la esquina sureste, permitía el acceso a un recinto exterior situado a una altura inferior y del que quedan una pequeña torre y los dos lienzos que lo formaban.

En la parte norte, todavía existen restos de mampostería de un recinto exterior, también a una altura inferior al castillo, que prolongaba 58 metros el lienzo noroeste hacia el norte, para retroceder después durante 78 metros hacia el sureste y enlazar con otra pequeña torre existente en el lado este, en la que se ve el arranque de un portillo. La entrada principal a este segundo recinto se localiza al norte, en el muro noroeste, estaba flanqueada por cubos y con un pequeño foso delante.

Laurent Vital en la crónica del primer viaje de Carlos V a España en 1517, indica respecto al castillo que se encuentra "sobre una montaña, que, por la situación, es muy maravilloso y casi como intomable; pero, viéndolo por dentro, no es tan gran cosa como parecía desde fuera. Así está mal provisto de artillería y otras municiones que sirven para una plaza semejante".

Durante la Guerra Civil dos obuses impactaron junto al cubo noreste produciendo sendos boquetes, reparados en la restauración de los años 60 del siglo pasado, en la que se reconstruyeron también otras partes que se veían desde la villa.

Entre los años 1986 y 1989 se realizaron excavaciones arqueológicas que sacaron a la luz, en el interior del recinto y a unos dos metros del muro oeste, los restos de una torre con muros de sillería de 2 metros de espesor, del siglo X, posiblemente la que originó el castillo. Asimismo, adosada a ella se encontró un aljibe.

Varios senderos que parten desde la iglesia de Santa Cecilia, situada a los pies del castillo, permiten acceder al mismo. Desde lo alto de sus muros se puede contemplar una magnífica vista de la villa y su entorno, lo que permite entender mejor la importancia estratégica que tuvo en su tiempo.