La construcción de una fortificación con funciones puramente defensivas fue iniciada en la segunda mitad del siglo XIV por la dinastía Visconti, que había ostentado el señorío de Milán durante casi un siglo, desde que el arzobispo Otón Visconti había derrotado en 1277 al anterior señor, Napoleone della Torre, en la batalla de Desio y le había expulsado de Milán. En 1354, el arzobispo Giovanni Visconti, al morir, legó el ducado a sus tres sobrinos Matteo II, Galeazzo II y Bernabò.

La construcción original fue una iniciativa, en 1358,^[5]​ de la familia Visconti, según los deseos de Galeazzo II. Este hizo construir entre 1368[5] y 1370, a caballo entre las murallas de la ciudad, en correspondencia con la Porta Giovia (o Zobia), una fortificación conocida como el Castillo de Porta Giovia[3], que debe su nombre a la romana Porta Giovia, antigua entrada a las murallas romanas de Milán, que a su vez debía su nombre a Giovio, apodo del emperador Diocleciano. En la época romana, en la misma zona donde se alzaría el castillo medieval de Porta Giovia,^[6]​ se encontraba el Castrum Portae Jovis, uno de los cuatro campamentos defensivos de la Milán romana^[7]​

A partir del año 286, cuando Milán se convirtió en capital del Imperio Romano de Occidente, el Castrum Portae Jovis comenzó a funcionar también como Castra Praetoria, es decir, cuartel de los pretorianos, unidad militar que desempeñaba funciones de guarda personal del emperador. Esta zona era, por tanto, el «Campus Martius» de Milán, es decir, la zona consagrada a Marte, dios de la guerra, que se utilizaba para ejercicios militares.

El castillo medieval de Porta Giovia fue ampliado por sus sucesores: Gian Galeazzo Visconti, que se convirtió en el primer duque de Milán en 1395, Giovanni Maria y Filippo Maria, que primero traslada al castillo la corte del palacio ducal que estuvo cerca del Duomo (actual Palazzo Reale). El resultado fue un castillo de planta cuadrada, con lados de 200 metros de largo y cuatro torres en las esquinas, de las cuales las dos que daban a la ciudad eran particularmente imponentes, con muros perimetrales de 7 metros de grosor.^[8]​ El edificio se convirtió así en la residencia permanente de la dinastía Visconti, sólo para ser destruido en 1447 por la Aurea Repubblica Ambrosiana, establecida por la nobleza milanesa tras la extinción de la dinastía Visconti al morir sin herederos legítimos el duque Filippo Maria.

Fue el capitán mercenario Francesco Sforza, esposo de Bianca Maria Visconti, quien inició su reconstrucción en 1450 para convertirla en su residencia tras derrocar a la República y apoderarse así de Milán. Sin escudo propio, Sforza conservó el de los Visconti como blasón de su familia.^[9]​

En la primavera de 1450, Francesco Sforza nombró a Giovanni da Milano comisionado para las obras del nuevo castillo[5] y a Marcaleone da Nogarolo comisionado para las provisiones. Según algunos historiadores, las obras comenzaron el 1 de julio. Cinco meses más tarde, se terminaron los dos tramos de las murallas de Ghirlanda hacia Porta Comasina y Porta Vercellina, así como el lado que daba al jardín y las dos torres de base circular del Carmine y del Santo Spirito, llamadas así porque daban a la iglesia de Santa Maria del Carmine y del Santo Spirito (hoy desaparecidas).^[10]​ En febrero de 1451 se construyeron los battiponti y se nivelaron las dos plazas, sobre las que más tarde se levantarían los revellines que daban a la ciudad y al jardín. Para hacer frente a la falta de liquidez provocada por la infravaloración del coste de la obra, se impuso a todas las ciudades del Ducado un impuesto sobre el carreggio, que podía pagarse en especie o convertirse en dinero; sin embargo, el pago no se efectuaba, se realizaba sólo parcialmente o se retrasaba a menudo, lo que obligaba al duque a presionar continuamente para que se efectuara. También hubo algunos problemas con el transporte de los materiales de construcción, ya que la madera procedía de los bosques de Cusago, mientras que la cal de Mergozzo se transportaba por el Toce, el lago Mayor, el Tesino y luego por el Naviglio Grande hasta Milán, tras recorrer más de 110 km. Finalmente, en el verano de 1451 las obras fueron asoladas por una epidemia de peste.^[11]​ En octubre se terminó la Torre Castellana, o Torre Rocchetta, y tomó posesión el nuevo castellano Foschino Attendolo.^[12]​

En 1452, Filarete y Jacopo da Cortona fueron contratados por el duque para construir y decorar la torre del medio, que aún se llama Torre de Filarete. Pronto surgieron rencillas entre el primero y los ingenieros milaneses debido a la altanería del primero (degradaba a los ingenieros del duque llamándoles albañiles) y a su obstinación en decorar la torre con ménsulas de terracota y mármol, lo que ralentizó el avance de las obras.^[12]​ Ese mismo año se construyeron los fosos. Más tarde les sucedió el arquitecto militar Bartolomeo Gadio. A la muerte de Francesco Sforza, le sucedió su hijo Galeazzo Maria, quien hizo continuar las obras por el arquitecto Benedetto Ferrini. Durante estos años se inició una gran campaña de frescos en las estancias de la corte ducal, encomendada a los pintores del ducado, cuyo ejemplo más valioso es la capilla ducal en la que trabajó Bonifacio Bembo. En 1476, bajo la regencia de Bona de Saboya, se construyó la torre del mismo nombre.

En 1494 Ludovico el Moro subió al poder y el castillo se convirtió en la sede de una de las cortes más ricas y suntuosas de Europa. Se recurrió a artistas como Leonardo da Vinci (que pintó al fresco varias salas del piso ducal, junto con Bernardino Zenale y Bernardino Butinone) y Bramante (tal vez para un pequeño puente que conectaba el castillo con la llamada vía cubierta) para decorar las habitaciones, mientras que muchos pintores pintaron al fresco la Sala della Balla ilustrando las hazañas de Francesco Sforza. [De Leonardo se conserva, en particular, el cuadro de Intrecci vegetali con frutti y monocromos de raíces y rocas de la Sala delle Asse, fechado en 1498, mientras que del colosal monumento ecuestre a Francesco Sforza, destruido por los soldados franceses antes de su finalización, no queda nada.

En los años siguientes, el castillo sufrió daños debido a los continuos ataques que se intercambiaban las tropas francesas, milanesas y germánicas; se añadió un bastión alargado llamado «tenaglia», que dio nombre a la puerta cercana y que tal vez fue diseñado por Cesare Cesariano, pero en 1521 la torre Filarete se derrumbó porque un soldado francés detonó por error una bomba después de que la torre hubiera sido utilizada como armería. Tras recuperar el poder y el castillo, Francesco II Sforza renovó y amplió la fortaleza, utilizando parte de ella como suntuosa residencia para su esposa Cristina de Dinamarca.

Tras la muerte de Francesco II en 1535 y el consiguiente fin del Ducado, el castillo fue cedido en 1536 por el conde Massimiliano Stampa, castellano adjunto del duque Francesco II, al rey Carlos V de España en virtud de un acuerdo celebrado en Bolonia: En efecto, en febrero de 1531, el capitán Giovanni di Mercado había cedido el castillo al conde Stampa bajo juramento de que éste, a su vez, lo cedería única y exclusivamente al «Sacratissimo et Invictissimo Carolo Quinto de' Romani Imperatore» o a sus sucesores en el Sacro Imperio Romano Germánico.^[13]​

La cesión del castillo marcó el final de un largo periodo de guerras y cambios políticos: en los treinta y seis años transcurridos desde la caída de Ludovico el Moro, se habían sucedido nueve gobiernos diferentes: primero los Guasconi de Luis XII (1500), después los alemanes y los suizos comandados por Ascanio Sforza; de nuevo los franceses tras la toma de Novara; en 1512 los mercenarios suizos dirigidos por el cardenal de Sión Matteo Schiner en nombre de la Santa Liga hasta el regreso de los franceses de Francisco I (1515); en 1525 la llegada de las tropas españolas de Fernando Francesco d'Avalos, marqués de Pescara, que abandonó el castillo seis años después para retomarlo definitivamente tras el breve gobierno de los últimos Sforza, Maximiliano y Francisco II.^[14]​ En 1535, pasó definitivamente a manos españolas.

Sometido así al dominio español del gobernador Antonio de Leyva (1480-1536), el castillo perdió su función de casa señorial, que pasó al Palacio Ducal, y se convirtió en la pieza central de la nueva alcazaba, sede de las tropas militares ibéricas: la guarnición era una de las mayores de Europa, oscilando entre 1.000 y 3.000 hombres, dirigidos por un castellano.^[15]​

En 1550 se iniciaron las obras de refuerzo de las fortificaciones, con la ayuda de Vincenzo Seregni: se construyó un nuevo sistema defensivo, primero pentagonal y luego hexagonal (típico de las fortificaciones modernas): una estrella de seis puntas, ampliada más adelante a 12 con la adición de medias lunas. Las defensas exteriores alcanzaban así una longitud total de 3 km^[16]​ y cubrían una superficie aproximada de 25,9 ha[19]. Las antiguas salas pintadas al fresco se utilizaron como carpinterías y almacenes, mientras que en los patios se construyeron gallineros en el muro.

A principios del siglo XVII, la obra se completó con fosos, que separaban completamente el castillo de la ciudad, y la «calzada cubierta»^[17]​.

Cuando Lombardía (el Milanesado) pasó de España a los Habsburgo de Austria, de la mano del gran general Eugenio de Saboya, el castillo conservó su finalidad militar. La única nota artística del dominio austriaco es la estatua de San Juan Nepomuceno, protector del ejército austriaco, colocada en el patio de la Piazza d'Armi.

Los españoles entregaron el castillo el 13 de marzo de 1707 a las tropas imperiales, que ya habían ocupado la ciudad de Milán a finales de septiembre de 1706, después de su triunfo en el sitio de Turín, durante la guerra de sucesión española.^[18]​

Con la llegada de Napoleón a Italia, el archiduque Fernando de Austria abandonó la ciudad el 9 de mayo de 1796, dejando en el castillo una guarnición de 2.000 soldados, al mando del teniente coronel Lamy, con 152 cañones y buenas provisiones de pólvora, fusiles y forraje. Tras repeler un primer ataque infructuoso de un grupo de milaneses projacobinos, sufrió el asedio francés, que duró desde el 15 de mayo hasta finales de junio. En un primer momento, Napoleón ordenó reconstruir sus defensas para albergar una guarnición de 4000 hombres. En abril de 1799 fue sitiada por las tropas austro-rusas que regresaban, pero un año después, tras Marengo, se restableció el dominio francés.

Ya en 1796 se había presentado una primera petición popular exigiendo la demolición del castillo como símbolo de la «antigua tiranía». Por decreto de 23 de junio de 1800, Napoleón ordenó su demolición total. Se llevó a cabo a partir de 1801, sólo en parte para las torres laterales y totalmente para los bastiones españoles situados fuera del palacio Sforza, ante una población exultante.

En 1801, el arquitecto Giovanni Antonio Antolini presentó un proyecto de remodelación del castillo de formas llamativamente neoclásicas, con un atrio de doce columnas y rodeado por el primer proyecto del Foro Bonaparte: una plaza circular de unos 570 metros de diámetro, rodeada por una serie interminable de edificios públicos monumentales (las Termas, el Panteón, el Museo Nacional, la Bolsa, el Teatro, la Aduana), conectados por pórticos en los que se abrirían almacenes, tiendas y edificios privados. El proyecto fue rechazado por Napoleón, el 13 de julio del mismo año, por ser demasiado caro y, de hecho, desproporcionado para una ciudad de unos 150.000 habitantes.

Así pues, se tomó en consideración un segundo proyecto, presentado por Luigi Canonica, que limitaba la intervención a la parte que daba a la actual Via Dante (que, no obstante, lleva el nombre del ambicioso proyecto: Foro Bonaparte), mientras que la vasta zona situada detrás se utilizó como patio de armas, coronado, años más tarde, por el Arco de la Paz, de Cagnola, en aquel momento dedicado a Napoleón.

Unos años más tarde, en 1815, Milán y el reino de Lombardía-Venecia se anexionaron al Imperio austriaco, bajo el dominio de los austriacos de Bellegarde, y el castillo, enriquecido con murallas cortina, pasadizos, mazmorras y fosos, se hizo tristemente célebre porque durante la revuelta de los milaneses en 1848 (los llamados Cinco Días de Milán), el mariscal Radetzky^[19]​ dio orden de bombardear la ciudad con sus cañones. Durante los trágicos acontecimientos de las Guerras de Independencia italianas, los austriacos se replegaron durante algún tiempo y los milaneses aprovecharon para desmantelar parte de las defensas frente a la ciudad. Cuando en 1859 Milán quedó definitivamente bajo el dominio de los Saboya y a partir de 1861 formó parte del Reino de Italia, la población asaltó el castillo, saqueándolo en venganza.

Unos veinte años después, el castillo se convirtió en objeto de debate: muchos milaneses propusieron demolerlo para olvidar siglos de dominio militar y, sobre todo, construir un barrio residencial. Sin embargo, la cultura histórica prevaleció, y el arquitecto Luca Beltrami sometió el castillo a una extensa restauración, casi una reconstrucción, con el objetivo de devolverle las formas de la familia Sforza. La restauración finalizó en 1905, con la inauguración de la Torre Filarete, reconstruida según diseños del siglo XVI y dedicada al rey Humberto I, asesinado unos años antes. La torre también sirve de telón de fondo para la nueva Via Dante.

En 1912, Luigia Morelli di Popolo, viuda del conde Galeazzo Visconti (1824-1906), falleció. En su testamento, dejó la suma de 100.000 liras para que una sala de los museos del castillo se dedicara a su difunto esposo y albergara la colección de retratos de su familia; así se hizo.^[20]​ Además, cientos de plantas del nuevo pulmón verde de la ciudad, el Parque Sempione, un jardín paisajístico de estilo inglés, se plantaron en la antigua plaza de armas. El Foro Bonaparte se reconstruyó con fines residenciales frente al castillo.

Como se ha dicho, la muralla exterior, llamada "Ghirlanda", fue demolida durante el siglo XIX. Lo que hoy vemos del castillo es la parte más antigua, de edificación del trecento y cuatrocento. Esta estructura tiene planta cuadrada, con lados de aproximadamente doscientos metros de longitud. Las cuatro esquinas están constituidas por torres, cada una orientada según uno de los puntos cardinales. Las torres sur y este, que enmarcan la fachada principal hacia el duomo, tienen forma cilíndrica, mientras que las otras dos, que enmarcan la fachada hacia el parque, son de planta cuadrada; la norte se llama "Falconiera" y la oeste, "Castellana". Todo el perímetro del castillo aún está rodeado por el antiguo foso, que ya no se inunda.

La fachada que da al centro de la ciudad se construyó a mediados del siglo XV durante la reconstrucción encargada por el duque Francisco. De esta época, las dos torres laterales redondas, revestidas de sillar con punta de diamante, conservan su aspecto original. Se utilizaron a lo largo de los siglos como prisiones y, desde finales del siglo XIX, albergan cisternas de acueductos. En su interior aún se conservan vestigios de las mazmorras donde se encarcelaba a los patriotas durante el Risorgimento. Las almenas medievales son fruto de la restauración del siglo XIX; fueron demolidas para dar cabida a los grandes cañones y demás artillería montados en las torres, destinados a amenazar la ciudad durante los siglos en que el castillo albergó a la guarnición austriaca, como se puede apreciar en las pinturas de la época.

La fachada que da al centro de la ciudad se construyó a mediados del siglo XV durante la reconstrucción encargada por el duque Francisco. De esta época, las dos torres laterales redondas, revestidas de sillar con punta de diamante, conservan su aspecto original. Se utilizaron a lo largo de los siglos como prisiones y, desde finales del siglo XIX, hospedan la cisterna del acueducto. En su interior aún se conservan vestigios de las mazmorras donde se encerraba a los patriotas durante el Risorgimento. Las almenas medievales son resultado de la restauración del siglo XIX; fueron demolidas para dar cabida a los grandes cañones y demás artillería montados en las torres, destinados a vigilar la ciudad durante los siglos en que el castillo albergó a la guarnición austriaca (inicios del XVIII a mediados del XIX), como se puede apreciar en las pinturas de la época.

El complejo Castillo incluye algunos museos y alberga importantes colecciones^[21]​

• La subsede del Museo Arqueológico de Milán, con su sección egipcia y prehistórica;
• El Museo de arte antiguo, que incluye la última escultura de Miguel Ángel, la Piedad Rondanini, la Madona de Trivulzio de Andrea Mantegna y el manuscripto del Códice Trivulziano de Leonardo da Vinci; También contiene la armería, la sala de tapices y algunos monumentos funerarios.
• La pinacoteca^[22]​ con pinturas desde el siglo XIII hasta el siglo XVIII. La colección de arte incluye obras maestras de Canaletto, Giovanni Battista Tiepolo, Vincenzo Foppa, Tiziano Vecellio y Tintoretto.
• El Museo de instrumentos musicales.
• La colección de artes aplicadas.
• El Museo de muebles antiguos y esculturas de madera.
• La colección impresa de Achille Bertarelli.

En 2012 se han descubierto en el castillo docenas de bocetos y pinturas atribuibles a Michelangelo Merisi, conocido como Caravaggio.^[23]​^[24]​ Se cree que las obras se remontan a la etapa en la que Caravaggio estudiaba en Milán. Antonio Paolucci, director de los Museos Vaticanos, afirmó que duda que las obras sean de Caravaggio, el maestro del barroco.^[25]​^[26]​^[27]​^[28]​

En 2013 se descubrieron 6 dibujos inéditos de Leonardo da Vinci que estuvieron ocultos durante siglos bajo varias capas de yeso.^[29]​^[30]​^[31]​