Su antigua fortaleza, hoy desaparecida, se alzaba en el Cerro del Castillo, elevación natural que alcanza los 819 metros de altura y desde la que se tenía una mejor posición defensiva que permitía controlar un amplio territorio. Se levantó sobre un antiguo castro vacceo, probablemente tras la reconquista de estas tierras por parte de Alfonso III "El Magno" en el último tercio del siglo IX.
A mediados del siglo XV al sublevarse el Almirante de Castilla contra el rey Juan II y su favorito Álvaro de Luna, fue uno de los castillos que ocuparon los rebeldes en la comarca del Cerrato.
En 1475 la localidad vuelve a ser escenario bélico durante la guerra de sucesión castellana que enfrenta a los Reyes Católicos con los partidarios de Juana de Castilla "La Beltraneja". En ella se enfrentan el Conde de Benavente, partidario de los primeros, con el rey de Portugal marido de la segunda, que logra tomar la villa y apresar al Conde.
Según refleja la Crónica de los señores Reyes Católicos, el combate tuvo lugar en la muralla y, una vez superada esta, en las calles de Baltanás. Es muy probable que el castillo en ese momento ya no reuniese las condiciones necesarias para aguantar un ataque con más garantías que la endeble cerca.
Posteriormente en 1543, en el documento de compra de la localidad de Baltanás por parte de Pedro de Zúñiga a la Orden de Santiago figura que la adquiere "con su jurisdicción, señorío, vasallaje, renta, pechos y derechos y el castillo", lo que indica que la fortificación aún se encontraba en pie.
Es posible que sus piedras hoy formen parte de la Iglesia parroquial de San Millán de la Cogulla construida a partir de finales del siglo XVI. En 1861 aún conservaba vestigios del castillo en lo alto del cerro.
Todo el Cerro del Castillo se encuentra horadado por multitud de cuevas que superan el número de las 370, conformando el barrio de bodegas de Baltanás. De estas construcciones ya hay constancia en 1544 cuando Pedro de Zúñiga compra a los vecinos las bodegas y cuevas que se hallaban junto al castillo por la cantidad de 62.205 maravedíes. El barrio de las bodegas está declarado bien de interés cultural con categoría de conjunto etnológico desde el año 2015.
Dentro del término municipal de Baltanás se encuentra el lugar conocido como la Aldea, que fue incluido en la venta realizada a Pedro de Zúñiga. En 1845 ya se encontraba despoblado y según Pascual Madoz "No existen más vestigios de su población que algunos cimientos de lo que parece haber sido iglesia y de lo que sería y se llama actualmente castillo, que es un cotarro aislado de bastante elevación, en cuyo sitio hay bastantes salas subterráneas que han visto algunas personas de las que existen, pero ahora se encuentran llenos de tierra y escombros".
También en su municipio se encuentra Valdecañas de Cerrato, donde sí hay vestigios de una fortificación.