Se halla situado a unos 900 metros del casco urbano, en la costa de Puerto de la Cruz, en la desembocadura del barranco de San Felipe del que toma el nombre. En su entorno se localiza Playa Jardín.

El castillo fue uno de los cuatro fortines que en la antigüedad defendieron la ciudad. Comenzó a construirse en 1599 en una zona en la que se disponían dos lánguidas plataformas dotadas con pequeños cañones que ya habían demostrado su eficacia al rechazar un ataque pirata perpetrado por cinco navíos. La construcción del fortín concluyó a principios del siglo XVII, concretamente en 1604, y desde entonces sirvió como base defensiva ante posibles corsarios que buscaban refugio en el embarcadero del Puerto. Entre los primeros alcaides que estuvieron al frente del castillo se encuentran el capitán Juan Antonio de Franchy, nombrado en 1644, Diego Benítez de Lugo, Lorenzo Perera de Ponte, Alonso Calderón, Benito Viña, Juan Francisco de Ponte y Carlos Franchy. Con el nombramiento, en 1725, de José Agustín Machado Espínola se cierra la lista, de un total de cincuenta alcaides, según recoge el historiador Pinto de la Rosa en su obra Apuntes para la Historia de las Antiguas Fortificaciones de Canarias. En el siglo XIX fue reformado pues el transcurso del tiempo lo había deteriorado. En 1878, se procedió a desartillarlo y fue entregado al ayuntamiento con el objetivo de destinarlo a labores de enfermería y lazareto. Finalmente, en 1924, se declaró inadecuado para las necesidades del Ejército y fue clausurado.

El castillo de San Felipe destaca entre todos los erigidos en su época en Canarias por ser de un refinado estilo colonial. Construido de mampostería, tiene un perímetro de forma pentagonal y, aunque en un inicio lo rodeaba un foso y disponía de un puente levadizo, fue sustituido más tarde por una pasarela fija. Contaba originalmente con dos plantas, habilitada la segunda para alojar a unos 35 soldados aproximadamente. Estaba equipado con tres cañones de hierro, dos de 24 libras y otro de 16. La apariencia con que luce hoy en día el castillo responde a la reforma efectuada en el siglo XIX.

Según el Decreto de 22 de abril de 1949, sobre protección de los castillos españoles,^[1]​ y la Ley 16/1985, de 25 de junio, del Patrimonio Histórico Español,^[2]​ es Bien de Interés Cultural con categoría de Monumento.^[3]​^[4]​

Además de baluarte defensivo, a lo largo de su historia ha sido lazareto, enfermería, ciudadela, depósito, sociedad de tiro y restaurante. A finales del siglo XX se acometió por parte del consistorio portuense una profunda remodelación que transformó el recinto en centro cultural municipal y escenario para conciertos musicales y exposiciones artísticas. A apenas unos 50 metros del castillo se conserva el antiguo almacén de pólvora o Polvorín.

• Pinto de la Rosa, José María (1996). Apuntes para la Historia de las Antiguas Fortificaciones de Canarias. Museo Militar Regional de Canarias. pp. 764. ISBN 84-920318-0-8. 
• Centro de Iniciativas y Turismo de Puerto de la Cruz Archivado el 11 de octubre de 2014 en Wayback Machine.