El castillo se sitúa en un extremo del pueblo, adosado interiormente al antiguo recinto amurallado del que quedan vestigios en las proximidades al mismo. Es de planta cuadrada, de 35 metros de lado, construido con buena piedra de sillería en la segunda mitad del siglo XV.

El lienzo correspondiente a la antigua muralla fue sustituido por un muro mucho más ancho y elevado para intentar compensar la cercana presencia de un padrastro desde donde podía ser batido con facilidad. Cuenta con almenas a ambos lados. En sus extremos se levantan la torre del homenaje, de gran altura y tamaño, y la torre de "Malpique", desaparecida a principios del siglo pasado como consecuencia de un rayo.

Las otras esquinas están protegidas por otras dos torres, de planta cuadrada, en las que unas molduras marcan sus distintos niveles. Las ventanas tienen arcos geminados. Todo el recinto presenta almenas y cinco garitones similares a los existentes en los castillos de Portillo (Valladolid) y Villalonso (Zamora).

La torre del homenaje es mucho más sobria. La entrada a la misma se realiza a la altura de la primera planta, actualmente por medio de una escalera de caracol externa, aunque inicialmente se accedía a ella por medio de una pasarela. El piso bajo, usado como depósito o mazmorra, sólo era accesible desde el primero, en el que una nueva escalera de caracol, en este caso empotrada en el muro, permite subir tanto a la segunda planta, cubierta con doble bóveda de crucería, como a la tercera, donde existen dos puertas que comunican con el adarve y están defendidas por medio de ladroneras situadas encima de las mismas. La cuarta planta también está cubierta con bóveda de crucería, y se llega a ella por medio de una escalera de madera, mientras que la que comunica con la azotea está construida intramuros.

En la fachada que da al pueblo se localiza la puerta principal del recinto interior, está formada por grandes dovelas bajo el escudo del duque de Lerma y protegida por dos hermosas garitas.

Había una segunda entrada, junto a la torre del homenaje y protegida por una tronera, formada por un estrecho pasillo con dos puertas, que comunicaba con el exterior del recinto amurallado. Se eliminó este acceso al construir la escalera de caracol que permite subir a la torre.

El recinto interior tiene adosado un edificio con tres alas en torno a un patio porticado formado por arcos rebajados que se apoyan en columnas octogonales. Estas dependencias palaciegas cuentan con bellos artesonados de madera y las puertas y ventanas de los salones se han decorado con adornos góticos. En la planta baja se pueden apreciar las dependencias correspondientes a las caballerizas, la cocina, el cuerpo de guardia y almacenes.

Una barrera externa con cubos circulares rodea al castillo en los tres frentes internos a la villa, uniéndose a la muralla en los cubos de la misma, está construida con sillarejo y preparada para el uso de artillería. A la puerta principal, en línea con la entrada al recinto interior y flanqueada por dos cubos artillados, se accedía por medio de un puente levadizo, ahora reconstruido. El conde de Salvatierra ordenó la construcción en 1538 de un puente fijo para salvar el foso que rodeaba la barrera y del que aún quedan vestigios. Dos portillos en la barrera permitían, mediante escaleras interiores, el descenso al foso.

Años antes, en 1528, se habían realizado reformadas para alojar en ella a los Delfines de Francia, prisioneros del emperador Carlos V, tras la batalla de Pavía.

Declarado en 1931 Monumento Nacional, aunque en esa fecha ya amenazaba ruina inminente, es adquirido por el industrial galletero Eugenio Fontaneda en 1960, quien lo restaura a su costa y posteriormente instala en la planta baja un interesante museo en él se puede contemplar una de las más importantes colecciones privadas de arte antiguo de España.

Como curiosidad indicar que a finales del siglo XIX las dos torres y el lienzo con los dos garitones situados en el frente principal tuvieron tejado por encima de las almenas como muestra imagen que acompaña este texto.

Es posible que en la cercana localidad de Valoria del Alcor, perteneciente al municipio de Ampudia, existiese también un castillo o casa fuerte, pues entre las propiedades que declara Domingo de Herrera Ayala y Rojas a mediados del siglo XVIII figura el solar donde estuvo la fortaleza de Valoria.