Los vestigios más antiguos hallados en la Peña del Castillo son íberos y romanos, aunque el origen de la actual fortaleza es andalusí, probablemente almohade. Es una de las tres grandes fortalezas del Alto Vinalopó, junto con las de Villena y Biar, y formaba parte de la línea defensiva de fortificaciones.

Ramón Folch vizconde de Cardona intentó conquistarlo, sin éxito, ya en 1239, pero fueron los caballeros de la Orden de Calatrava, mandados por el Comendador de Alcañiz, los que lo tomaron a finales de ese año.^[1]​ Su posesión fue transferida a Alfonso X de Castilla, por tratarse de territorio que los convenios habían asignado a la dominación castellana. Quedó integrado en el señorío de Villena, hasta que en 1480 fue incorporado a la Corona por los Reyes Católicos.^[1]​

Durante la guerra de Sucesión Española la guarnición del castillo era adicta a Felipe de Anjou; sitiada por las tropas del archiduque Carlos de Austria, se retiraron de la fortaleza.

En 1764 Carlos III nombró alcaide del castillo al duque de Arcos. En 1782 pasó al duque de Maqueda.^[1]​

Es de propiedad municipal desde 1980 y actualmente se halla completamente restaurado.^[1]​

El castillo se alza sobre un cerro de forma alargada, inaccesible por la vertiente oeste, por lo que se accede a la fortaleza por el noroeste.^[1]​ Es de planta irregular y consta de dos recintos: barbacana exterior, para la defensa de puentes y entradas, y un amplio cuerpo murado, dentro del cual figuraba un gran albergue.^[1]​

En sus extremos están las dos torres, siendo la principal rectangular, con muros de hasta 2 metros de espesor; en su interior estaba la sala de armas, y sobre ella una terraza almenada a la que se accedía mediante una escalera de arcos ojivales apuntados. La primera y la segunda de las plantas poseen una bóveda de medio cañón apuntada, con saeteras en esta última y en la tercera. En la ladera del risco en que se asienta esta fortificación existían otras obras de defensa, destinadas a la protección del acceso principal del castillo, en el que se abría la puerta principal.^[1]​

Existía un puente levadizo como acceso a la torre del homenaje que hoy en día ha desaparecido. Junto a la torre existe un gran aljibe con uno de sus lados. Se cree que su actual fábrica data del siglo XIV, siendo la parte más antigua la zona norte, y la más moderna la torre del homenaje. Hace un par de años pusieron unas escaleras para poder subir a visitarlo por el lado que tiene el peñón.

• Ruta de los Castillos del Vinalopó
•   Portal:Comunidad Valenciana. Contenido relacionado con Comunidad Valenciana.
•   Portal:Arquitectura. Contenido relacionado con Arquitectura.

• Artículo sobre el Castillo de Sax

•   Wikimedia Commons alberga una categoría multimedia sobre Castillo de Sax.