La fortaleza tiene la estructura típica de los castillos de la escuela de Valladolid, un recinto de planta cuadrada con torreones circulares en las esquinas con una torre de enormes proporciones en el centro de uno de sus lienzos. Por sus características constructivas pudiera ser del mismo maestro que los castillos de Fuensaldaña, Torrelobatón y sobre todo Peñafiel, en Valladolid.
La torre del homenaje construida con excelente sillería cuenta con muros de entre 7 y 11 metros de espesor, un pronunciado talud y unos cubos que sirven como contrafuerte, alcanzando los 25 metros de altura.
En su interior existen dos salas con bóveda de cañón de 9 metros de luz. Ambas salas estuvieron divididas en su día por otro piso de madera del que se conservan los mechinales en los muros donde se apoyaban las vigas. La sala superior comunica con varios túneles ciegos en forma de L, posiblemente almacenes, construidos en el interior de los muros. Contaba con ventanales que al engruesar la torre se han convertido en estrechos tragaluces.
Existe una mazmorra, una sala cuadrada abovedada, cuyo único acceso es un hueco en la parte superior de la bóveda. Se une este acceso por medio de un túnel a las escaleras construidas en espiral por medio de tramos rectos abovedados.
El acceso a la torre se realiza por medio de puertas de pequeño tamaño. La primera con doble puerta comunica por medio de un estrecho corredor con la planta baja de la torre del homenaje donde unas escaleras suben a las plantas superiores. La segunda puerta se abre en la base del talud, en el interior del patio, accediéndose por ella tanto al adarve como a la sala de acceso a la mazmorra. También en el patio se encuentra la tercera puerta, elevada sobre el nivel del talud comunica con la que fue, posiblemente, la primitiva entrada a la torre. Da acceso a unas escaleras, similares a las anteriores, que comunican con el tercer piso de la torre. Las escaleras presentan frecuentes arranques de goznes y huecos para las trancas.
El resto del castillo está formado por un recinto de planta cuadrada, con cubos en las esquinas, excepto en la del suroeste que arruinada durante el asedio comunero fue sustituida por un contrafuerte. Es probable que estos cubos tuvieran mazmorras en la planta superior ya que únicamente tienen acceso desde arriba.
En el cubo sureste hay una bella ventana de estilo gótico y debajo de ella, a su izquierda, dos escudos con las armas propias del apellido Sarmiento, entre las que, según la leyenda, se encontraba la hoja de una espada.
La entrada a este recinto se realiza por su lienzo oriental, estando protegida por un balcón amatacanado con dos garitas muy parecidas a las que se encuentran en los castillos de Ampudia, Portillo y Villalonso. El interior del patio tuvo adosada en tres de sus lados una construcción de dos plantas con una galería formada por arcos rebajados que se apoyan en columnas, con antepechos calados, algunos de los cuales pudo ser salvado en 1919 y llevados al coro de la iglesia parroquial, donde en el atrio también se encuentran las columnas. En 1885 las galerías Este y Oeste ya estaban derruidas, al igual que la antigua cocina situada en la esquina Suroeste. Únicamente se conservaba la galería Sur a la que se accedía por una escalera situada a la izquierda de la entrada principal al patio.
Antes de la construcción del edificio del Archivo Histórico Provincial en el interior de este patio, se observaban los huecos en los muros donde se apoyaban las distintas edificaciones auxiliares del castillo, así como del pozo que tenía fama de inagotable.
De la barrera y foso que rodearon al castillo, hoy solamente quedan algunos vestigios frente a la entrada principal.
Ya debía existir una fortaleza a finales del siglo X cuando se repuebla la localidad por el conde Pero de Palencia, hijo de Fernán González.
A finales de siglo XIV la localidad está en poder de la familia Sarmiento. Diego Pérez de Sarmiento a mediados del XV construye la actual fortaleza. A finales del mismo su nieta Constanza Sarmiento, se casa con Andrés de Ribera, alcalde y corregidor de Burgos.
El hijo de ambos, Andrés de Ribera, es el propietario del castillo cuando en 1521 los comuneros al mando del obispo Acuña intentan asaltarlo en varias ocasiones. Tras entablar negociaciones se llega a un acuerdo de capitulación para los defensores que no es respetado por el obispo, cuyos hombres arrasan el castillo y apresan a los Ribera que son trasladados a Valladolid donde permanecen hasta su liberación tras la batalla de Villalar.
Una vez acabada la guerra vuelve a tomar posesión del castillo Andrés de Ribera, que tasan los daños en 20.000 ducados y solicita de la corona la reparación económica de las pérdidas. Se reconstruye la fortificación engruesando la torre, se ataludan sus muros y los grandes ventanales son sustituidos por oscuros tragaluces a la vez que se achican las puertas.
En 1538, la villa es vendida a Diego de Acebedo, sin que probablemente se hubieran terminado las reformas. Posteriormente el rey Felipe II otorga a Pedro Enríquez de Acebedo, gobernador del milanesado, el condado de Fuentes de Valdepero, quien inspirado en el castillo erige en la Valtellina el llamado "Fuerte de Fuentes", que jugó un importante papel en la defensa de los estados españoles en Italia.
Después de pasar por otras varias casas, la localidad y el castillo acaban en poder de la Casa de Alba, que en 1874 vende la fortaleza al vitoriano Ladislado de Velasco, quien posteriormente lo vende a su vez a Andrés de la Calzada.
Las gestiones de la Asociación de Amigos del Castillo y Monumentos de Fuentes de Valdepero consiguen que la Diputación Provincial adquiera la fortaleza en 1995 con el fin de destinarla a Archivo Provincial. Desde 1996 y durante quince años, diversas Escuelas Taller han rehabilitado el castillo y construido en su patio el edificio del Archivo. Este último entra en funcionamiento en 2007, mientras que una vez terminadas las obras de restauración de la fortaleza se abre al público en 2011.