Mucho antes de que Innsbruck se convirtiera en una ciudad, aparecen referencias a Amras o Omras en documentos que datan del siglo X. Esa primera fortificación en lo que entonces era la esquina suroeste de Baviera fue la sede del poder de los condes de Dießen-Andechs, que se convirtieron en margraves de Istria y más tarde en duques del efímero estado imperial del ducado de Merania de 1180 a 1248. Esa fortificación original fue destruida en 1133 por Enrique el Orgulloso y no quedan rastros de ella, aunque parte del material de la edificación original se utilizó después de 150 años en el edificio moderno.^[3]​

El moderno castillo de Ambras fue construido por el archiduque Fernando II (1529-1595), el segundo hijo del emperador Fernando I (r. 1558-1564). Cuando fue nombrado soberano provincial del Tirol en 1564, Fernando II ordenó a dos arquitectos italianos que convirtieran la fortaleza medieval existente en un espléndido palacio renacentista para su esposa sin título Filipina Welser (1527-1580), con quien se había casado en secreto.^[3]​^{[Nota 1]}​ Fernando II preparó la residencia de su familia en el castillo Superior, debajo del cual construyó una de las salas artísticamente más importantes del Renacimiento tardío, conocida desde el siglo XIX como el «Salón español». En 1567, Fernando II hizo su entrada en Innsbruck, antes de eso, fue nombrado gobernador administrador del reino de Bohemia, fijándo su residencia en Praga en 1547. En 1589, añadió un edificio adicional, el Heldenrüstkammer, al oeste del castillo Inferior con el propósito de albergar su colección de "Héroes", la primera presentación sistemática de objetos en la historia de los museos. El castillo de Ambras fue utilizado como residencia de Filipina, así como el lugar en el que Fernando II albergara su colección de armas, armaduras, retratos, objetos naturales, así como rarezas y objetos preciosos.^[3]​ Hoy en día, el museo de historia del arte« Schloss Ambras Innsbruck» es parte del Kunsthistorisches Museum Vienna.^[9]​

Filipina se convirtió en una figura popular y querida gracias a sus obras de caridad y a su voluntad de ayudar a los demás, en particular a la gente común de Tirol. Incluso la nobleza llevó sus peticiones a la antigua plebeya. Como muestra de afecto, la gente dirigía sus peticiones escritas a la "Señorita Misericordiosa " o a la "serena Princesa Sra. Filipina de Austria".^[3]​ Después de la muerte de Fernando en 1595, el segundo hijo de Fernando y Filipina, el margrave Carlos de Burgau (1560-1618), heredó el castillo de Ambras. Con poco interés en preservar el castillo o por sus colecciones, cayeron en un estado de ruina y Carlos los vendió en 1606 al emperador Rodolfo II.^[3]​

En los años siguientes, el castillo de Ambras dejó de tener el estatus de residencia oficial y rara vez se vivía en él. (El castillo sirvió para varios propósitos, como cuartel de tropas y hospital militar hasta mediados del siglo XIX).^[10]​ Las inadecuadas medidas de conservación provocaron la pérdida de valiosos libros, de manuscritos y bocetos a mano, y pronto gran parte del palacio cayó en mal estado. En el siglo XVII, el emperador Leopoldo I (r. 1658-1705) hizo que algunos de los fondos más valiosos de las colecciones de Ambras, en su mayoría libros y manuscritos, se trasladaran a Viena, donde todavía se pueden ver en la Biblioteca Nacional de Austria.^[3]​ En 1805, las colecciones restantes de Ambras se vieron amenazadas por la derrota de Austria por parte del Primer Imperio francés. Afortunadamente, después de reconocer el carácter de derecho privado de la colección Ambras, Napoleón (1769-1821) hizo que la llevaran a un lugar seguro en Viena.^[3]​

En 1855, el archiduque Karl Ludwig, entonces gobernador del Tirol, hizo remodelar el palacio para usarlo como residencia de verano. En ese momento se realizaron cambios significativos en el palacio y en el parque circundante. El Outer Bailey (Vorschloss) se construyó con una rampa de entrada revestida de hiedra para carruajes. El parque fue rediseñado como jardín inglés. Las colecciones del Museum k.k. Ambraser Sammlungen se inauguraron en 1880. Tras la renuncia del archiduque Karl Ludwig a sus derechos de sucesión en 1889,^{[Nota 2]}​ el palacio volvió a caer en ruinas. En 1880 fue reconvertido en museo y posteriormente renovado.^[3]​ Después de 1913, el castillo de Ambras se convertiría en la residencia de verano de la familia del archiduque Franz Ferdinand.^[11]​

En 1950, el Kunsthistorisches Museum Vienna se hizo cargo de la administración del castillo y de sus colecciones. A lo largo de la década de 1970, se llevó a cabo una restauración integral del Salón Español, los barrios residenciales del castillo Superior y del Patio interior. En 1974, se completó la Cámara de Arte y Maravillas. En 1976, se completó la Galería de Retratos de los Habsburgo que abarca los siglos XV al XIX. En 1981, se reabrió la Armería en el castillo Inferior.^[3]​

No queda nada del castillo original del conde Andechs en el parque actual, ya que fue destruido en 1133. El torreón, las palas y los muros de los cimientos de la capilla datan de los siglos XIII y XIV, cuando Ambras era propiedad de los gorizianos.^[3]​ La bóveda de crucería de la sala se remonta a Sigmund el rico en monedas. En 1859 se hizo la ampliación posterior de la Heldenrüstkammer (cámara de armaduras de los héroes) (desmantelada en 1881).^[12]​

En el siglo XIX, Ambras fue reconstruido con fines residenciales por el arquitecto Ludwig Förster y más tarde por su hijo Heinrich bajo el gobernador del Tirol (1855-1861), el archiduque Karl Ludwig.^[13]​

En 2017, el «Ferdinand Café & Bistro Schloss Ambras» fue creado por la Asociación de Museos KHM en las históricas salas de la "Cocina Gótica" en Hochschloss. La adaptación fue realizada por el arquitecto Christian Knapp de los arquitectos Kohlmayr, Lutter, Knapp, ganador del American Architecture Prize 2017 en las dos categorías de restauración e interiorismo.^[14]​^[15]​

• Florian Martin Müller: Die römischen Meilensteine in Schloss Ambras. In: Sabine Haag (Hrsg.), All'Antica. Götter und Helden auf Schloss Ambras. Eine Ausstellung des Kunsthistorischen Museums Wien. Schloss Ambras - Innsbruck, 23. Juni bis 25. September 2011, Wien 2011, S. 18-23 ISBN 978-3-99020-006-3
• Ludwig Igálffy von Igály: Die Ambraser Trinkbücher Erzherzog Ferdinands II. von Tirol. Erster Band (1567-1577) Transkription und Dokumentation (= Schriften des Kunsthistorischen Museums, Band 12), Wien 2010, ISBN 978-3-85497-192-4
• Albert Ilg, Wendelin Boeheim: Das K.K. Schloss Ambras in Tirol. Beschreibung des Gebäudes und der Sammlungen. (Nachdruck; 1. Auflage, Adolf Holzhausen, Wien 1882). BiblioBazaar (u.a.), 2009, ISBN 978-1110233786.