La edificación habría pertenecido al conde de Ayanz.^[1]​ En el tercer volumen del Diccionario geográfico-estadístico-histórico de España y sus posesiones de Ultramar de Pascual Madoz, en la entrada correspondiente a la localidad de Ayanz, se dice lo siguiente:^[1]​

Tiene una sola casa ó palacio propio del conde de Ayanz, hoy marqués de Besolla, cuyo edificio de grandes dimensiones y suficiente para crecido número de hab., es obra de mucha solidez, descubriéndose en todas sus esterioridades los blasones del ant. feudalismo; y tiene 1 torre de 70 pies de elevacion con sus correspondientes almenas, y puerta de hierro.

(Madoz, 1846, p. 196)

• Madoz, Pascual (1846). «Ayanz». Diccionario geográfico-estadístico-histórico de España y sus posesiones de Ultramar III. Madrid. Wikidata Q115624375. 

•   Wikimedia Commons alberga una categoría multimedia sobre Torre de Ayanz.