El castillo fue el núcleo original de Alpuente. En 1707, durante la guerra de Sucesión, fue demolido, según unas versiones para evitar su posible uso por el enemigo, al tratarse de una plaza fuerte sin guarnición;^[6]​ según otras como represalia del bando vencedor borbónico por el apoyo de la plaza a los austracistas.^[7]​ Así, lo que en el siglo XXI se yergue dominando la población son los restos de lo que fue un importante castillo, de los que se conservan varias torres, puertas y restos de la desaparecida muralla, situado sobre un peñón rodeado de profundos precipicios, como el de la vertiente opuesta al pueblo, que se desploma verticalmente sobre el barranco del Reguero, con un desnivel de 105 metros.^[7]​

Al castillo se accede por una rampa que parece que tuvo originalmente más de 3 metros de anchura y un buen acondicionamiento del pavimento, lo que permitiría el paso de caballerías y, quizá, carros pequeños. Al menos en sus momentos finales tuvo un alto parapeto que la transformó en un camino cubierto. Así se accede a los restos de la puerta de la barbacana, que se cita en la documentación medieval y, tras ella, la antigua torre albarrana de época califal en la que pueden apreciarse algunas reformas medievales y los destrozos que le ocasionó una mina durante las guerras carlistas.^[7]​

El camino hace un zigzag para llegar a la plataforma superior de la barbacana. Al norte de esta se abre el foso y lo que queda de la puerta medieval, todavía en funcionamiento en el siglo XIX. Quedan restos de construcciones de época califal que indican que hubo un sistema defensivo que cerraba el paso. Se accede a una zona que, por la izquierda, sigue por la parte inferior del castillo. Esta zona se caracteriza por una sucesión de estructuras subterráneas apoyadas contra la muralla musulmana, que fue realzada con una nueva construcción bajomedieval. Entre ellas y la pared rocosa hay restos de estructuras construidas en superficie. En una nueva zona abierta en la parte norte se conservan unas grandes cisternas de época bajomedieval y donde hubo viviendas en los s. XII-XIII, al menos en su lado oeste, pues el este es un gran afloramiento rocoso. Toda la parte superior está construida sobre estructuras subterráneas que, al menos en su lado norte, son aljibes abovedados con respiraderos y pozos de acceso, enlucidos con almagra. Cuando dejaron de ser usados como tales, se abrieron puertas y los muros de compartimentación se reemplazaron por otros de mampostería. Por encima de estas construcciones estaban las habitaciones, una de las cuales ha podido ser documentada en excavaciones. Estas tenían pavimentos de mortero de cal y paredes de diversos materiales (mampostería, sillarejo de tipo califal) revestidas con buenos acabados de enlucido de cal. Durante las guerras carlistas, sobre los restos de estas construcciones se levantaron cuatro emplazamientos de artillería, formados por anchos parapetos con muros de contención verticales en su interior y taludes de tierra o mampostería en su exterior.^[7]​

Fuera del recinto de la fortificación, en la base de la roca dónde se asienta el castillo, aparecen seis piletas, con forma semiesférica, excavadas en la roca y abujardadas que quizá se utilizaron para fabricar municiones.^[7]​

De la muralla que en época musulmana cerraba el perímetro de la Villa de Alpuente, se conservan numerosos restos que permiten reconocer su emplazamiento y trayectoria, si bien la mayor parte de ellos se hallan deteriorados y algunos en ruina.^[7]​

Se extendía en la vertiente oeste de la población, a lo largo de aproximadamente 600 metros partiendo del llamado Portillo, por el sur y llegando en rampa descendente hasta asomarse al barranco del Reguero, por el norte, y a partir de aquí, la propia ladera natural del cerro sobre el que se alza el Castillo, de gran desnivel y verticalidad, completaba el cierre del recinto amurallado por el este.^[7]​

La muralla, que antaño dividía el pueblo en dos mitades, contaba con catorce torres de seis a ocho metros de espesor, de las cuales quedan restos, aunque, en su mayor parte en un estado lamentable de deterioro. Hace pocas décadas, los restos de dos de la torres fueron destruidos para ensanchar dos calles.^[7]​

La torre mejor conservada, la Torre Aljama, fue sede del ayuntamiento. Constituía la puerta de entrada principal al recinto amurallado y serviría para defensa y refugio de los habitantes de extramuros en caso de peligro, aunque el edificio conservado debe datarse en época medieval cristiana. Es de planta rectangular, de 16 metros de altura, coronada de almenas con un arco de medio punto, construido de sillares. En el piso alto se reunía la Lonja de contratación y el Ayuntamiento. En el siglo XVI se le adosó un salón consistorial. En los bajos está el salón donde se cree que se celebraron las Cortes del Reino de Valencia de 1319, por el rey Jaime II, y de 1383 por Pedro IV.^[7]​

La Torre Aljama divide la muralla en dos secciones, una al sur y otra al norte.

En dirección sur, se encuentran restos de la muralla y de una de las torres adosada a la misma. Presentan distintos estratos constructivos en este tramo de muralla. La base es de mampostería ordinaria, que se ha deteriorado y se han desprendido parte de sus mampuestos y la casi totalidad de su revestimiento. A partir aproximadamente de 3 metros de altura, la muralla deja la construcción es en tapial, y aún quedan restos del revestimiento de este, aunque se ha desprendido en su mayor parte. De la torre que se halla adosada a este tramo de muralla queda bastante muestra y el estado de conservación de su base es relativamente aceptable, pero su parte superior está totalmente destruida. A inicios del siglo XXI se le realizaron tareas de conservación. Finalmente, la muralla continúa hacia el sur hasta llegar a una última torre similar, a partir de la cual es el propio cortado de la montaña el que cierra el acceso. Los muros de la última torre fueron incorporados a la construcción de viviendas privadas.^[7]​

En dirección norte desde la Torre Aljama encuentran diversos restos de la muralla, fragmentada en varios tramos. El primero de ellos ha sido rellenado por su parte superior y está siendo utilizado como jardinera por algunos vecinos, quienes además han tratado de adecentarlo por su cuenta, revistiéndolo con placas de piedra. Su estado es regular, existiendo desprendimientos de mampuestos y daños por la vegetación. Junto a este tramo de muralla se hallaba una torre árabe, derribada hace algunas décadas, bajo la cual surgió parte de la base de una estructura, posiblemente romana, la cual fue restaurada y conservada. En la actualidad está siendo invadida por la vegetación.^[7]​

Un poco más adelante, vuelve a aparecer la muralla. Es el tramo de lienzo conservado de mayor longitud, aunque su altura es variable, por lo que su parte superior en algunos tramos sirve de parapeto al camino de bajada que lo acompaña, mientras que en otros su altura es inferior al nivel del camino, y se ha reconstruido para crear un antepecho al camino, con muro de mampostería de menor altura y espesor, que se distingue fácilmente de la muralla. También se conserva una saetera alojada en la muralla. Por el trasdós de la muralla se conservan algunas de las torres adosadas a la misma, aunque su estado de conservación es bastante malo y la vegetación dificulta su observación y facilita su deterioro. Al final de este extenso tramo de muralla, los restos de esta también han sido incorporados como base para una construcción posterior.^[7]​

A partir del extremo norte y siguiendo las pendientes del terreno, se produce un cambio en la dirección de la muralla, que gira hacia el este. Se encuentran restos de la muralla y de varias torres, pero todo muy deteriorado y en mal estado de conservación, algunos elementos con riesgo de derrumbamiento. La vegetación en estos tramos es muy abundante, impide la visión de la muralla y sus torres, y contribuye al deterioro de las mismas. Se trata de lienzos de muralla generalmente de mampostería e incluso, en algunos tramos en donde los mampuestos han ido cayendo, se observa la construcción en tapial en su interior. Las torres que se conservan presentan un estado ruinoso debido a la pérdida de una gran parte de la mampostería, por lo que al quedar desprotegido el tapial les ha supuesto un importante deterioro. A partir de este extremo, la muralla probablemente enlazaría con el cortado sobre el que se asienta el castillo, que cerraría el acceso por el este.^[7]​