Este castillo según recientes investigaciones lo empieza a construir Diego de Vera, regidor de Ávila, en 1522. Se levanta en la dehesa de Manzaneros, lugar documentado como aldea ya a principios del siglo XIV, integrándose por tanto en el proceso de ocupación real del territorio a base de pequeños núcleos de población.

En los censos eclesiástico y civil de la Corona de Castilla, de 1587 y 1594 respectivamente, sigue registrándose como tal lugar habitado. Pero a mediados del siglo XVIII, en el Catastro de Ensenada figura como mera dehesa perteneciente al Marqués de La Coquilla, donde solo quedan dos casas de labor, ocupadas por las familias que la guardan; también se cita:

UN PALAZ(I)O QUE ESTÁ TODO EL TECHO EN TI(ERR)A Y LAS PAREDES DE ÉL MUY DERROTADAS, POR LO QUE SE HALLA YNABITABLE..

Un siglo más tarde, según la respuesta de Madoz y a la Comisión Provincial de Monumentos, la situación es la misma aunque perteneciendo al Duque de la Roca. Actualmente es propiedad de la Marquesa de Albís. Hoy en el lugar se levantan distintos edificios -necesarios para la explotación agraria de la dehesa- al amparo de las ruinas y de la torre testimonial (hoy ya derruida).^[2]​

La torre era de planta circular, construida en mampostería de granito, con la parte superior perdida. En sus partes sur y noroeste se abren diferentes vanos que reflejan cuatro alturas: la inferior con arco de medio punto, la segunda con arco de medio punto inscrito en un marco adintelado, la tercera adintelada, y la última abovedada de acceso al adarve. Su interior, con excelente fábrica de sillería de granito, muestra una escalera de caracol de peldaños de una sola pieza, en su parte exterior se conservan arranques de muros y una línea de mechinales que indican la integración de esta torre en el conjunto fortificado.

Está protegido genéricamente desde 1949 ;^[1]​ y es Bien de Interés Cultural.^[3]​^[4]​