El cabo recibe el nombre por unas excavaciones naturales en la roca, formadas en los acantilados. Este fue el primer asentamiento galés de la Patagonia, tras desembarcar del Velero Mimosa el 28 de julio de 1865. Los galeses vieron en chozas improvisadas en las cuevas excavadas por ellos hasta la fundación de Rawson el 15 de septiembre del mismo año.^[3]​ El área fue declarada como Parque Histórico Punta Cuevas.^[4]​

También recibe el nombre de Punta del Indio, debido al Monumento al Indio Tehuelche, construido en 1965 en las cercanías de la punta, durante el centenario de la colonia galesa.^[5]​ Una bandera argentina ondea donde los galeses establecieron la propia.

•  
  La bandera de la colonia galesa ondeó sobre la punta Cuevas.
•  
  Vista de las cuevas, algunas de ellas se vieron afectadas por la erosión marina.
•  
  Algunas de las cuevas no protegidas.
•  
  Bandera de Argentina.
•  
  Museo del Desembarco y alrededores.
•  
  Camping del ACA.
•  
  Monumento al Indio (vista posterior).
•  
  Mejillones en marea baja.
•  
  Una de las cuevas de los galeses.
•  
  Cuevas.
•  
  Cuevas.
•  
  La cueva más cercana a la punta.
•  
  Cuevas.
•  
  Rocas con mejillones en marea baja.
•  
  La punta en marea baja.
•  
  Monumento del desembarco en Punta Cuevas. La placa contiene los nombres de los 153 colonos.
•  
  Dragón galés del monumento.

•   Wikimedia Commons alberga una categoría multimedia sobre Punta Cuevas.