Dominando la población se yerguen los restos de lo que fue un importante castillo, que conserva varias torres, puertas y restos de la desaparecida muralla, situado sobre un peñón rodeado de profundos precipicios, como el de la vertiente opuesta al pueblo, que se desploma verticalmente sobre el barranco del Reguero, con un desnivel de 105 metros.^[1]​

El Castillo de Alpuente se alza sobre un peñón que domina la población, ocupando una extensión aproximada de 250 metros de largo por 16 de ancho. Esta mole rocosa sobre la que se asienta tiene en su parte oriental un precipicio de paredes verticales que se despeñan 150 metros, sobre el estrecho cauce del Reguero, mientras que por el lado de la población la lisa roca se eleva 50 metros por encima de la misma. El acceso sólo podía realizarse por un estrecho sendero labrado en la propia montaña, que atravesaba tres puertas sucesivas, hoy desaparecidas. Aún se observan algunos lienzos de sus murallas con basamentos de torreones y diversas construcciones auxiliares, aljibes, etc. La parte mejor conservada es la meridional, próxima a la iglesia parroquial, donde destaca una gran torre, conocida como "de la Veleta", de sólida construcción a base de sillares. También ha sobrevivido buena parte del conjunto de estancias y pasadizos subterráneos excavados bajo la fortaleza. Poco es, pues, lo que se ha conservado de este castillo: restos de la muralla perimetral con los basamentos de algunas torres, los vestigios de dependencias interiores y las bóvedas de los recintos subterráneos. En las laderas del monte se encuentran otros elementos dispersos.^[4]​

Al castillo se accede por una rampa que parece que tuvo originalmente más de 3 metros de anchura y un buen acondicionamiento del pavimento, lo que permitiría el paso de caballerías y, quizá, carros pequeños. Al menos en sus momentos finales tuvo, como se puede apreciar todavía en el castillo de Chulilla, un alto parapeto que la transformó en un camino cubierto. Así se accede a los restos de la puerta de la barbacana, que aparece mencionada en la documentación medieval y, tras ella, la antigua torre albarrana de época califal en la que, aparte de algunas reformas medievales, aún pueden apreciarse los destrozos que le ocasionó una mina durante las Guerras Carlistas.^[1]​

El camino hace un zigzag que permite alcanzar la plataforma superior de la barbacana. Al norte de esta se abre el foso y lo que queda de la puerta medieval que todavía estaba en funcionamiento en el siglo XIX. Quedan, además, restos de aparejos de época califal que indican que anteriormente hubo un sistema defensivo cerrando el paso. Se abre luego una zona explanada que, por la izquierda, sigue por la parte inferior del castillo. Esta zona se caracteriza por una sucesión de estructuras subterráneas apoyadas contra la muralla musulmana, que fue realzada con una nueva construcción bajomedieval. Entre ellas y la pared rocosa se aprecian restos de estructuras construidas en superficie.^[1]​

Se llega así a una nueva zona abierta en la parte norte, donde se conservan unas grandes cisternas de época bajomedieval y donde las excavaciones han documentado la existencia de viviendas en los siglos XI-XIII, al menos en su lado oeste, puesto que el este es un gran afloramiento rocoso.^[1]​

Toda la parte superior está construida sobre estructuras subterráneas que, al menos en su lado norte, son aljibes abovedados con respiraderos y pozo de acceso, enlucidos con almagra. Cuando dejaron de ser usados como tales –ya en época contemporánea- se abrieron puertas y se derribaron muros de compartimentación, construyéndose otros de mampostería. Por encima de estas construcciones estaban las habitaciones, una de las cuales ha podido ser documentada en la excavación, con pavimentos de mortero de cal y con paredes de aparejo diverso (mampostería, sillarejo de tipo califal) con revestimiento con buenos acabados mediante enlucidos de cal. Sobre los restos de estas construcciones, se levantaron las mencionadas baterías en época carlista, formadas por anchos parapetos con muros de contención verticales en su interior y taludes de tierra o mampostería en su exterior. De momento sólo se han podido identificar dos de las cuatro mencionadas.^[1]​

Fuera del recinto de la fortificación, en la base de la roca dónde se asienta el castillo, aparecen seis piletas, con forma semiesférica, excavadas en la roca y abujardadas que quizá se utilizaron para fabricar municiones.^[1]​

De la muralla que en época musulmana cerraba el perímetro de la Villa de Alpuente, se conservan numerosos restos que permiten reconocer su emplazamiento y trayectoria, si bien la mayor parte de ellos se hallan en un estado de importante deterioro y ruina. La muralla se extendía en la vertiente oeste de la población, a lo largo de aproximadamente 600 metros partiendo del llamado Portillo, por el sur y llegando en rampa descendente hasta asomarse al barranco del Reguero, por el norte, y a partir de aquí, la propia ladera natural del cerro sobre el que se alza el Castillo, de gran desnivel y verticalidad, completaba el cierre del recinto amurallado por el este. La muralla contaba con catorce torres de seis a ocho metros de espesor, de las cuales quedan restos, aunque, en su mayor parte en un estado lamentable de deterioro. Como antaño dividía el pueblo en dos mitades, sufrió numerosas adaptaciones y desperfectos, y así a finales del siglo XX, los restos de dos de la torres fueron destruidos para ensanchar dos calles.^[5]​

La torre mejor conservada es la Torre Aljama, fue sede del ayuntamiento y que constituía la puerta de entrada principal al recinto amurallado y serviría para defensa y refugio de los habitantes de extramuros en caso de peligro, aunque el edificio conservado debe datarse en época medieval cristiana. Es de planta rectangular, de 16 metros de altura, coronada de almenas con un arco de medio punto, construido de sillares. En el piso alto se reunía la Lonja de contratación y el Ayuntamiento. En el siglo XVI se le adosó un salón consistorial.^[5]​

Si aceptamos la identificación constructiva de las estructuras más antiguas como califal, el castillo de Alpuente podría haber sido edificado en el siglo X como una inexpugnable fortaleza sobre un cerro, con gran valor estratégico-militar y de control de la zona. Tendría una relación de jerarquía con el castillo del Poyo o Collado (a diez kilómetros hacia el norte), desde donde se ven mejor las tierras de Teruel.^[1]​

La fortaleza, construida por los musulmanes, siguió en uso tras la Reconquista cristiana por su estratégica situación fronteriza entre dos reinos, siendo reformada en profundidad durante las Guerras de la Unión del siglo XIV. Durante los siglos XIV y XV esta villa tuvo mucha importancia, por estar en el punto de entrada de una cañada real por la que circulaban los ganados, sobre todo lanares, y sobre los que tenía derecho de peaje. Su situación fronteriza entre Aragón y Castilla la convirtió en escenario de distintas luchas y su castillo sufrió las consecuencias de las guerras con el Reino de Castilla hasta el siglo XV. Tras la Guerra de Sucesión y la llegada de los Borbones (Felipe V), en represalia por haber apoyado al candidato austríaco de la casa de Habsburgo, se decidió destruir el castillo. Este fue reconstruido durante las Guerras Carlistas. Tras la primera de estas contiendas se ordenó otra vez su derribo para evitar que fuera de nuevo aprovechada como plaza fuerte por las tropas del Pretendiente.^[4]​

Pese a que la parte superior del castillo había sido desmantelada o estaba en ruinas, durante la primera Guerra Carlista, Alpuente fue ocupado por las tropas carlistas de Cabrera en 1835. La tropa se instaló en los subterráneos y se mejoraron las defensas construyéndose cuatro baterías en la denominada ciudadela. Resistió el asedio de las tropas del general liberal Azpiroz. Por ello, durante los ataques se destruyeron muchas viviendas y una parte importante de la iglesia. También fue ocupada durante la tercera guerra carlista.^[1]​

El texto siguiente pertenece al diario de un militar de la época carlista, y lo que se describe puede identificarse en el castillo:^[1]​^[6]​

Dos metros antes de la muralla un gran foso circular de tres metros de profundidad por 5 metros de ancho, única entrada por puente levadizo. La puerta defendida por dos pequeños tambores aspillerados y dispuesta al entrar en tres o cuatro curvas antes de la segunda línea de fortificación.

Primera línea de pared de medio metro de espesor por dos metros de altura, en una mampostería ordinaria con un circuito 400-500 metros. Un contrafoso de las mismas dimensiones, separa la primera de la segunda muralla. Desde la puerta principal a primera plaza había cuadras laterales, que también eran cobertizos para guarnición, prisioneros y rehenes. Al fondo de la plaza, bajo especial para el Gobernador y el Mayor de la Plaza, cuyos altos eran parte de la segunda Plaza o Ciudadela. En la planta baja los calabozos, un horno de pan para cocer y una imprenta de campaña para boletines... La ciudadela no estaba terminada, pero tenía cuatro baterías orientadas a los cuatro puntos cardinales. En la primera plaza estaban los talleres de carpintería, cerrajería, almacén, alpargatas e instrumentos de albañilería. Polvorín socavado en la roca, se bajaba por una espiral y en él abundantes municiones para cañón y fusil, aumentadas por el trabajo de ocho hombres, que se dedicaban sin descanso a la fabricación de cartuchos.

Cisterna y fuente, a un kilómetro de la fortificación se bajaba por un camino cubierto recientemente construido.

Debido a todas estas vicisitudes, el castillo ha llegado hasta la actualidad en un estado de lamentable ruina, habiendo perdido muchos de sus elementos, aunque su aspecto sigue siendo imponente sobre su espectacular asentamiento.^[4]​ A estas acciones bélicas que supusieron la práctica destrucción de la fortaleza, se agravó por el paso del tiempo y la utilización de sus materiales para construcciones particulares.^[4]​