De lo que fue una imponente fortaleza, conocida como castillo de la Mota, situada en la parte más elevada de la población, unicamente se conserva el cubo situado al Nordeste y parte del muro Norte, todo ello construido con buenas piedras de sillería en la segunda mitad del siglo XV, sobre una fortificación anterior ya documentada en 1035.

Del cubo aún perduran dos plantas separadas por una imposta, aunque tuvo más altura. La parte baja está dotada de cinco grandes troneras, una de ellas transformada en puerta, mientras que en la superior existen varias saeteras y, sobre la tronera central, una puerta con arco de medio punto podría comunicar con alguna estructura exterior.

Por encima del lienzo Norte se aprecia el arranque de un muro perpendicular con puerta de arco rebajado. La ubicación de bodegas alrededor de la mota donde se levanta el castillo, al igual que en el mismo recinto, han acelerado su destrucción. En 1852 ya figuraba arruinado.

La fortaleza estuvo relacionada con las cercanas de Palenzuela y Castrojeriz. Pudo tener su precedente en la desaparecida "Torre cerca de Astudillo" mencionada en el siglo X, de la que se conserva la ermita románica de Torre Marte.

Rodeaba la villa una muralla cuyo trazado venía a coincidir con la actual carretera de circunvalación, de la que se conserva una puerta, un torreón y algunos lienzos. La cerca se levantó a principios del siglo XIII, formada por piedra y tierra. A mediados del siglo XIX contaba con seis puertas: de Revilla, Santa Eugenia, San Pedro, Santoyo, Santa Clara y San Martín, la única que se conserva, ya que el resto se derribaron en 1914.

Esta magnífica puerta se enmarca dentro de una alta y esbelta torre con un gran arco apuntado en el exterior y rebajado en el interior. Encima de ella tres aspilleras en el frente y una más a cada lado, la servían de defensa. Estaba coronada por almenas con remate piramidal. En su interior se aprecian claramente dos pisos.

Adosado al convento de Santa Clara se encuentran los restos rehabilitados de un esbelto torreón y de un lienzo de la muralla. El torreón se asemeja en la construcción a la puerta de San Martín, almenas con remate piramidal y aspilleras.

Estos restos probablemente correspondían a una segunda cerca que rodeaba el Barrio de la Puebla, que pertenecía a la jurisdicción del convento de Santa Clara por favor otorgado por el rey Pedro I. A finales del siglo XIV fue derribada de forma injustificada por el señor de Astudillo, Fernán Sánchez de Tovar.

En el subsuelo de la población, sin salir del recinto que delimitaba la muralla, existen una serie de pasadizos hipogeos situados debajo de las casas, siguiendo la fachada de las mismas y comunicados entre si. Están revestidos con sillería, con bóvedas de cañón y arcos fajones. Según algunos autores pudieran tratarse de "minas" que permitieran sorprender al enemigo desde la retaguardia. Parte de estos pasadizos se cegaron y otros han servido de bodega.

En el siglo XI ya se mienta la localidad como Stadellum, aunque su término ya estuvo poblado en época romana, siendo en 1059 cabeza de un Alfoz. El rey Alfonso VII en 1147 la concede Fueros, que son ratificados y ampliados más tarde por Fernando III el Santo, que convierte la villa en una importante plaza fuerte.

Desde que en 1135 Alfonso VII cede la fortaleza a Rodrigo Fernández Castro, permanece bajo el control de la familia de los Castro hasta que cae en poder de los Lara, pasando de nuevo a la Corona tras ser vencidos por Fernando III.

Ostentan el señorío a lo largo de la historia diversas reinas, siendo la primera Leonor de Aquitania, esposa de Alfonso VIII de Castilla, desde 1170 hasta su muerte, a principios del XIII, que la sucede su hija Berenguela, madre de Fernando III el Santo, que en 1219 la entrega en arras al casarse con la reina Beatriz. En 1248 pertenece a la esposa de Alfonso X, doña Violante.

La sucede María de Molina quien a finales del siglo XIII ha de hacer frente al rebelde Juan Núñez de Lara que había tomado el castillo por la fuerza y poco tiempo después es derrotado en los campos de Astudillo.

En 1341 Alfonso XI cede el señorío a doña Leonor de Guzman que lo disfruta hasta la subida al trono de Pedro I el Cruel, que convierte la localidad en su residencia habitual. En 1353 concede el señorío a Beatriz, primera hija que tuvo con María de Padilla, que ese mismo año había fundado el convento de Santa Clara.

Por concesión de Enrique II en 1366, el señorío pasa a la familia Tovar, en concreto al Almirante Fernán Sánchez de Tovar. El comportamiento despótico de esta familia deja mal recuerdo en la villa y dio lugar a bastantes quejas de los vecinos que en ocasiones reciben el apoyo real.

A mediados del siglo XV, Juan de Tovar, señor de Astudillo, al igual que su cuñado Alonso Enriquez de Quiñones, poseedor de las fortalezas de Palenzuela, Hornillos y Cordovilla la Real, participan en la rebelión contra el favorito del rey, Alvaro de Luna, teniendo que refugiarse en Aragón tras la derrota sufrida en la batalla de Olmedo.

Juan II acude a la villa a rendir el castillo, pero el alcaide Beteta se niega a rendir la fortaleza, a pesar de estar hostigada por el fuego de un trabuco situado encima de la puerta de San Martín. A los pocos días una saeta disparada por orden del alcaide contra el palacio del rey, provoca un nuevo asalto contra el castillo, que es tomado por las tropas reales a costa de muchas bajas. Apresado el alcaide, pagó su desobediencia y osadía con la muerte y descuartizamiento.

Desposeído Juan de Tovar del señorío de Astudillo, es entregado por Juan II a la familia Mendoza, futuros condes de Castrogeriz. Restituidos los bienes a los rebeldes, tras el perdón real, retorna Juan de Tovar a la villa, aunque el nuevo alcaide no le entrega la fortaleza, lo que provoca que, tras nuevos enfrentamientos, termine por marcharse a Aragón al no conseguir tomar el castillo.

En 1520 la villa se adhiere al levantamiento comunero y se une a la Junta de Burgos. Durante la Guerra de la Independencia, en 1811, fue ocupada por un batallón del ejército francés al mando del coronel Simon Robert. En la guerra carlista llega hasta la localidad el general Espartero en persecución del mariscal carlista Miguel Gómez. En 1881 recibe por Orden Real el título de Muy Noble e Ilustrísima villa.

La localidad esta declarada Conjunto Histórico Artístico, manteniendo el trazado medieval de sus calles. De su riqueza monumental destaca, en el convento de Las Claras, el palacio mudéjar de Pedro I y la iglesia de Santa Clara.

También son de admirar las iglesias de Santa María, San Pedro y Santa Eugenia, esta última convertida en museo parroquial. Una muestra de la arquitectura civil la tenemos en la Plaza Mayor, el palacio de los marqueses de Camarasa, así las numerosas casas blasonadas existentes y caserones de los siglos XVIII y XIX.