Se trata de un típico castillo situado sobre un roquedal, con muro perimetral, del que quedan sólo algunos lienzos, y un bastión hexagonal, construido en tapial, con torre de 14 m de altura bien conservada, y con restos de decoración imitando sillería. Los restos de muralla son especialmente visibles en la zona sureste.

Algunos autores atribuyen a esta torre el carácter de "Torre del homenaje", de origen califal, fechada en el siglo X,^[3]​ aunque otras fuentes la datan en periodo de dominación bereber. Estuvo muy vinculado al Castillo del Ferral, muy cercano, y con el que se ha confundido frecuentemente.^[4]​ Ambos tuvieron un papel en la batalla de las Navas de Tolosa, y ambos fueron pleiteados, en el siglo XIII, por el Arzobispado de Toledo y la Diócesis de Baeza.