Las ruinas del castillo aún dominan la villa desde un cerro cercano. En un documento del monasterio de Sahagún del año 947 ya se menciona el "Castrum Saldanie".
Todavía se mantienen en pié una de las dos grandes torres cuadradas y parte de la otra así como algunos muros de las murallas que la rodeaban. De las torres, fechadas en la primera mitad del siglo XI mediante la prueba del carbono 14, prácticamente sólo se conserva el relleno formado por cantos rodados trabados con cal, pues la piedras de sillería que las recubrían, fueron utilizadas, entre otras cosas, para la construcción de una escuela en 1861 y la reparación del puente de la villa hundido en 1894.
La torre situada al Oeste es la más entera, alcanza los 9 metros de altura y aún se aprecian las tres plantas con piso de madera que tuvo, aunque la primera está prácticamente cubierta por escombros al derrumbarse las superiores.
La entrada se encontraba a la altura del segundo piso en la fachada oriental, apreciándose aún la cavidad donde se encajaba la tranca. En el resto de las fachadas se ven los huecos de ventanas y ventanales. Las dimensiones interiores son de 5 por 5 metros, con muros de 1,70 sin contar el revestimiento, prácticamente inexistente.
La otra torre parece más pequeña al conservarse menos restos y altura. No obstante las dimensiones interiores nos indican que estamos ante una torre de 6 metros de lado, y muros de 3 metros de grosor en los que se incluye el revestimiento de sillería. Ambas torres, que no se encuentran paralelas entre sí, estaban unidas por un muro del que aún se ve la traza.
Rodeaba la fortaleza en la parte superior un recinto con un grosor de 2 metros y una altura máxima de 1,50, de los que se conservan 30 metros de longitud al Sur y al Este, así como un cubo.
De un segundo recinto de grandes proporciones situado en un nivel inferior, únicamente queda un cubo y las ruinas de una puerta entre torres. Por debajo corre un arroyo que servía de foso natural a esta parte de la fortaleza.
Junto a la torre Este existe un enorme hundimiento, de 6 metros de profundidad, a través del que se aprecian restos de la esquina de una habitación con señales de revoco de argamasa, que pudieran corresponder con el aljibe del castillo o con los sótanos y subterráneos del mismo. Esta última teoría está avalada por coincidir verticalmente con el lugar donde un derrumbe obstruye el paso de una serie de galerías que parten de una enorme cueva artificial que se abre en la ladera oriental y desde donde se observa un sillar. Asimismo, los restos de cerámica recogidos en el interior de la cueva coinciden en época y características con los encontrados en el recinto del castillo, fechados desde finales del siglo XII al XV.
Tras la separación de Castilla y León en dos reinos independientes, su posición fronteriza hace que recobre su carácter militar entre 1157 y 1230.
A finales del siglo XV decae su importancia militar y se convierte en prisión. En el XVI se indica la existencia de "... una fortaleza con dos torres grandes y en medio de ellas una casa de buen edificio cercada de barbacana y muralla fuerte aunque la antigüedad la tiene ya inhabitable". El comendador Diego Rubín de Celis, en 1556 encarga una serie de reparaciones en el muro, barbacana, la cocina y chimeneas que estaban hundidas, en una habitación, la sala del homenaje de la torre y sus escaleras.
En 1751 el castillo está "inhabitable y sin teja alguna, solo tiene unas paredes". Ante el estado ruinoso en que se encuentra en 1871, el Ayuntamiento solicita a los dueños su demolición, que no se llevó a cabo.
En 1893 se lleva a cabo la reparación del puente de Saldaña que se había hundido, utilizando para ello las piedras de sillería arrancadas del castillo. En esa fecha la torre situada al Oeste aún se conservaba entera, con sus tres pisos y coronada con almenas. En la otra torre ya se había derrumbado la fachada Este y parte de la Sur. Ambas torres estaban unidas por el Sur con un lienzo almenado que desde la torre Oeste llegaba a un metro al Sur de la torre Este, y tras un ángulo de noventa grados se unia a ella. Tenía una altura de dos pisos, presentando tres ventanas en la segunda planta.
Un sillar con un dibujo e inscripción en árabe, que cronológicamente se sitúa en el siglo VIII y que según algunos investigadores representa el plano de la fortaleza en la época de ocupación musulmana, estuvo hasta 1954 en una de las torres, encontrándose en la actualidad en el Museo Arqueológico Nacional de Madrid.