Como todo castillo que se precie, este también tiene su leyenda. Aseguraba la gente del pueblo, y así queda ya recogido al menos desde el año 1850, que en el cubo Sudeste, entre los dos escudos circulares con las armas del linaje de los Sarmiento, existía una espada de acero encajada por la empuñadura en el muro y que al ser retirada unos 20 años antes apareció un pergamino enrollado en su pomo, pergamino que según Becerro de Bengoa apareció al realizar los agujeros necesarios para convertir el torreón en un palomar.

Para unos, el lugar de su emplazamiento servía para ajusticiar a los condenados a muerte que eran arrojados desde las almenas para caer sobre ella, mientras que para otros simbolizaba la jurisdicción criminal del señor sobre los vecinos.

Tampoco hay unanimidad en cuanto a quien era su propietario, ya que para unos pertenecía al conde de Saldaña, el padre de Bernardo del Carpio, y para otros era del propio héroe de Roncesvalles.

También contaban los vecinos, que cuando con alguna piedra se hacía vibrar la hoja de la espada, se oían ruidos siniestros ...