El castillo de Caudilla, también conocido como castillo de Rivadeneyra fue construido en el siglo XV (1449-1450) por Hernando de Rivadeneira, mariscal de Castilla. En los revueltos tiempos de Juan II permaneció fiel al rey, enfrentándose a las huestes de Álvaro de Luna. De este castillo partió Enrique IV con cien caballeros para someter a la ciudad de Toledo, que era partidaria del infante Don Alfonso.

El castillo de Caudilla es un pequeño castillo palaciego, no militar, del último período feudal. Su planta tenía forma rectangular y contaba con un foso.

La torre del homenaje tenía tres plantas con ventanas en los dos pisos centrales y el escudo de los Ribadeneira (cruz con cinco conchas sobre ondas), hoy irreconocible, en la última de ellas. También tenía matacanes y sus esquinas eran redondas y contaban con garitones.^[1]​

Los muros de la construcción son de piedra, el material más usado en estas construcciones, gracias a su dureza y abundancia.

Se halla bajo la protección de la Declaración genérica del Decreto de 22 de abril de 1949 y la Ley 16/1985 sobre el Patrimonio Histórico Español.^[2]​

Actualmente, solo quedan una pequeña torre circular, una imagen de Cristo arriba y parte de la derruida torre del homenaje. La parte de la fachada se vino abajo, debido posiblemente a los fuertes vientos que en 1999 azotaron la zona durante algunas semanas.

• Santo Domingo-Caudilla