Es un castillo medieval. Está construido con sillarejo y mampostería.[1] Su planta es poligonal. El estado actual es de ruina.[2] En él nació, posiblemente, Juan de Garay; fundador de la ciudad de Buenos Aires (Argentina).[3]
El castillo de Villalba fue parte del enorme patrimonio de Iñigo Fernández de Velasco, Condestable de Castilla y II Duque de Frías. Tuvo varios señores feudales también fue de realengo.[4] Durante la I Guerra Carlista, en 1836, el castillo se fortificó y se adaptó para artillería y fusilería.
“El Castillo de Villalba se localiza en el extremo Este del casco urbano, se asciende suavemente desde el pueblo, aunque por el resto del castillo está rodeado por fuertes pendientes. Es un castillo fortaleza del que sólo se conserva parte de la cerca, que sigue el escarpado borde de línea irregular. Está fabricado con mampuesto de sillar, sillarejo y lajas de caliza trabado con argamasa de mortero; el alma del muro está construida alternando hiladas en sentido vertical y horizontal trabadas con el mismo tipo de argamasa. Los muros llegan a alcanzar los 10 m de altura. La cerca está reforzada cada cierta distancia con cubos de sillarejos de las cuales solo se conservan seis. Ha sido parcialmente destruido por la construcción de viviendas y el depósito del agua, y ha sido utilizado como cantera. Fue utilizado en la primera Guerra Carlista, en que se reforzó la fortificación adosando algunos edificios a los muros y un muro de cuatro pies de grosor y 10 de altura en la zona que da al pueblo para adaptar el castillo a la artillería y la fusilería. Parece que entre sus alcaides se encontró Juan de Garay, el fundador de Buenos Aires. El castillo se documenta en 1350, al describir el pago que hacían las aldeas adscritas a Villalba de Losa para el mantenimiento del mismo.” [5]
"Arquitectura fortificada en la Provincia de Burgos", Inocencio Cadiñanos Bardeci, 1987 (ISBN: 8450559901).