El núcleo del actual castillo puede estar en la construcción normanda de entre 1046 y 1050. Los normandos acostumbraban a erigir torres como base para la posterior ocupación del territorio próximo. El conde Pedro el Normando, con vistas a la conquista de la ciudad de Trani, que estuvo bajo dominio bizantino hasta 1054, ocupó las indefensas tierras de Barletta, erigiendo un fuerte de tipo defensivos en la zona sureste del actual edificio. También levantó las primeras murallas de la ciudad, dentro de las cuales se organizaron los asentamientos de Santa María, cerca del castillo y de la antigua iglesia matriz, y San Giacomo (San Juan), al oeste.

A Pedro le sucedió su hijo Pedro II en 1067, y que hubo de enfrentar en la Apulia una guerra con la familia Altavilla (Hauteville) que terminó con el territorio de Barletta bajo el poder de Guillermo I de Sicilia, que sucedió a su padre en 1154. Tras la destrucción de Bari, entre 1156 y 1162, Guillermo "el Malo" amplió el castillo con dos torres más unidas por una sencilla muralla, a las que más tarde se añadió una cuarta en el lado suroeste, constituyendo así una fortaleza de planta pseudo-trapezoidal. En 1172, Guillermo II "el Bueno", hijo de "el Malo", de regreso de Tarento y en peregrinación al santuario de San Miguel Arcángel en Monte Sant'Angelo, se alojó en el castillo de Barletta, haciendo importantes donaciones al clero de Barletta.

De la época normanda, que finalizó con la muerte de Tancredo, primo de Guillermo II, en 1194, sólo se conserva la torre sureste rebajada en altura e incorporada durante en el siglo XVI a la cortina sur del castillo español. Las obras de restauración de los años 80 permitieron ver desde el interior, en la planta baja, parte de esta torre.

En 1194 nació Federico de Suabia, hijo del rey de Sicilia, y emperador del Sacro Imperio Romano Germánico, Enrique VI y de Constanza de Hauteville. Tras la muerte de Enrique en 1197 y de Constanza en 1198, Federico quedó bajo la tutela del papa Inocencio III. Este acontecimiento condujo a la implicación de la iglesia en los asuntos reales dejando el primer documento histórico en el que se hace referencia explícita al castillo de Barletta, unas cartas de Inocencio III de 1202.^[2]​

En 1202 estalló la disputa por el dominio del reino de Sicilia, que enfrentó a los germanos de Marcovaldo de Annweiler y Diopoldo de Acerra con los franceses de Gualtierio III de Brienne. Diopoldo y Marcovaldo exigieron la tutela del infante Federico II, que en cambio fue confiado por su madre Constanza al papa Inocencio III; el pontífice nombró entonces a Gualtieri III príncipe de Tarento, duque de Apulia y conde de Lecce y lo eligió como su propio paladín para restablecer el control sobre el reino de Sicilia. Las cartas del pontífice, enviadas a Gualtierio entre el 21 de julio y el 24 de septiembre de 1202, atestiguan la importancia del castillo ubicado en la costa adriática. El 6 de octubre de 1202, cerca de Canne, Gualtierio tuvo que rechazar primero un asalto de las tropas de Diopoldo y después, tras ocupar Barletta y su castillo, el asedio de las tropas de Guillermo de Palearia. Durante el año 1203, tras difundirse la falsa noticia de la muerte de Inocencio III, los habitantes de Barletta se amotinaron contra el castellano del papa, que residía en el castillo en nombre de Jacopo dei Conti di Segni, y trataron de asaltarlo, pero solo causaron daños en las murallas. Otro documento histórico en el que aparece Barletta se remonta a 1205 y en él el soberano autoriza a la iglesia de San Giacomo a construir un molino, una taberna y un horno.

Federico II Hohenstaufen fue coronado en 1215 rey de los romanos y de Alemania en Maguncia y en 1220 consagrado emperador por el papa Honorio III. En 1205 el conjunto del castillo era irregular y asimétrico, lejos de los modelos tipo de las fortalezas de Federico. Así que entre 1224 y 1228 el soberano intervino demoliendo la zona oriental que había pertenecido a los normandos y construyendo la "domus" de Federico, acentuando los aspectos decorativos y arquitectónicos del castillo y transformando lo que hasta entonces había sido una fortaleza con fines defensivos en un palacio para su corte. En 1228 Federico visitó Barletta y desde aquí, tras reunir al parlamento de barones en el castillo, anunció su partida hacia la Sexta Cruzada durante una dieta celebrada en la propia domus. Retornó de Tierra Santa a Barletta en 1229.

En 1250 sucedió a Federico su hijo Corrado. Este murió de malaria en Lavello, y fue sucedido por sucedido el 21 de mayo de 1254 por su hijo Corradino, de tan solo dos años, cuya tutela cayó en su tío, Manfredi di Sicilia, hijo natural de Federico II y hermano de Corrado. Catorce años después, tras la batalla de Tagliacezzo, 23 de agosto de 1268, que enfrentó a los ejércitos angevino de Carlos I y de Corradino, este último cayó prisionero de los franceses y luego fue decapitado.

Así terminó la dinastía suaba en favor de la Angevina, con la figura de Carlos I de Anjou (1266-1285), que al mismo tiempo detentó la posesión de Barletta y su castillo. Vista la importancia de Barletta y su castillo, por un lado, y el odio que Carlos I de Anjou tenía a dinastía suaba, le movió desde 1268 a intervenir arquitectónicamente en toda la fortaleza, así como en la urbe.

La notable documentación encontrada testimonia cambios sustanciales que dieron lugar a la construcción del Palatium angevino en el lado norte, desaparecido con la ampliación española posterior y cuya espacio, según se dedujo en las labores arqueológicas de los años 80, se utilizó como gran cisterna. La antigua torre normanda del sudeste fue sustituida por otra de forma circular, se excavó un foso circundante, se erigió un muro defensivo en el lado oeste, el "taluto", se reforzaron las muralla cortinas existentes y se abrió una otra puerta de acceso, la llamada Porta Trani, mirando hacia hacia la ciudad, al este. Estas obras fuero realizadas por Pierre de Angicourt, superintendente de la Curia Real. A Carlos I, muerto en Foggia en 1285, le sucedió Carlos II (1285-1309) y a este, Roberto de Anjou (1309-1343). De 1308 a 1312, por orden del Vicario de Carlos II, los monarcas angevinos tomaron prisioneros a los caballeros templarios residentes en la ciudad, y los encarcelaron en las mazmorras del castillo.

En 1343, a Roberto le sucedió su nieta Juana (Giovanna) de Anjou (1343-1381), esposa de Andres de Hungría, hermano menor del rey de Hungría y Polonia, Luis, que reinó durante cuarenta años en tiempos convulsos iniciados con el asesinato de Andres en 1345, quedando la duda de si no fue una conjura de la misma la reina. Juana casó luego con su primo, Luis de Tarento. El final del reino de Juana de Anjou llegó en 1382, cuando Carlos III de Nápoles, esposo de su sobrino Margarita, después de tomar Nápoles y encarcelado a los soberanos, ordenó estrangular a la reina. En 1383, durante la guerra de sucesión, Carlos de Durazzo (Calos III) triunfó sobre Luis I de Anjou, sobrino de Juana, siendo ocupado el castillo por Raimondo Orsini Del Balzo, a las órdenes de Carlos III (1352-1386). A este le sucede en 1386 su hijo Ladislao (1386-1414). Fue sucedido por su hermana Juana II (1414-1435), quien, sin herederos, designó como sucesor primero a Alfonso V de Aragón, llamado el Magnánimo, y luego a Luis III de Anjou, provocando en 1424 el enfrentamiento entre Alfonso, y el hermano de Luis, Renato de Anjou (1435-1442), que terminó en 1442 con el ascenso al Reino de Nápoles del soberano aragonés.

Durante el dominio aragonés, en Barletta de 1442 a 1501, las estructuras de defensa del castillo y las paredes se reforzaron (años 1458, 1461 y 1481). Al rey Alfonso, le sucedió en 1458, Fernando I de Nápoles (1458-1494), conocido como Ferrante de Aragón (Ferrante d'Aragona), coronado el 4 de febrero de 1459 en la iglesia de Santa María a Barletta. El soberano estaba en la región de Apulia dos años después y por temor a los ataques enemigos del interior, se estableció en el castillo de Barletta, dedicándose al ocio y entretenimiento con los patricios de la ciudad, ajeno a la llegada del ejército de Juan de Anjou. El asedio fue frustrado por los hombres de Giorgio Castriota Scanderbeg (1405-1468), príncipe albanés, quien acudió en ayuda del gobernante aragonés. Fernando confió la protección de la ciudad de Barletta a Scanderberg y regresó a la Campania. Una estancia del castillo es presidida por un busto de Federico II, además del escudo de armas de Scanderberg y una lápida conmemorativa. En esos años, el soberano continuó la excavación del foso y amplió el puerto de la ciudad para relanzar la actividad comercial del momento.

La última década del siglo XV se caracterizó por una fuerte inestabilidad política tras la muerte de Fernando I en 1494, a quien sucedió Alfonso II (1494-95), Fernando II (1495-96) y Federico I de Nápoles (1496-1501), terminando en 1501 el dominio de la dinastía aragonesa que reforzó las estructuras ya existentes. Los acontecimientos que llevaron a la dinastía española al poder y condujeron al "desafío de Barletta" se insertan en los enfrentamientos entre Fernando II de Aragón, llamado el católico, y los franceses de Luis XII, rey de Nápoles entre 1501 y 1504, que culminaron con la victoria de los españoles en las batallas de Cerignola y Garigliano en 1503, logrando así ese año, la conquista de todo el Reino de Nápoles a favor de España.

Con la llegada de los españoles, que ocuparon el reino aragonés a partir de 1504 según lo establecido en el Tratado de Lyon, se iniciaron primero las obras de fortificación de las murallas, con la construcción del blocao de Paraticchio a lo largo de la costa occidental, y después, entre 1514 y 1519, la construcción de la quinta muralla urbana extendida hasta el barrio de San Giacomo, con la edificación de Porta Nuova y Porta Reale (Puerta nueva y Puerta Real). Consultando el Códice Diplomático de Barletta entre 1514 y 1515, notifica que el castillo se encontraba en un estado estructural precario y que la estructura era inadecuada ante la llegada de las nuevas técnicas de guerra de artillería. La situación económica de la Universidad de Barletta, en cambio, era floreciente, pudiendo contar con la presencia de numerosos mercaderes que llegaban a la ciudad desde los países vecinos, así como con el prestigio que ofrecía la presencia de importantes banqueros del norte de Italia y de Grecia.

En 1528 Barletta, lacerada por divisiones internas y aún no completamente rodeada de murallas, hasta el punto de que los arrabales de San Vitale y el de Sant'Antonio Abate (San Antonio Abad) al este eran aún extramuros, fueron arrasados por los franceses, sufriendo saqueos e incendios que causaron la destrucción de numerosas iglesias y edificios conventuales. El castillo fue ocupado por los franceses que lograron acceder, ayudados por alguna gente de Barletta, a través de las murallas situadas al este de la ciudad, que en aquel momento estaban siendo reforzadas aunque no sufrieron daños estructurales. Con la Paz de Cambrai en 1529, el castillo y la ciudad de Barletta pasaron a manos del emperador Carlos V de Habsburgo, sobrino de Fernando II de Nápoles. En 1532 se iniciaron las obras de adaptación del castillo a las normas de construcción de la época. Las obras duraron más de sesenta años, en tres fases: de 1532 a 1537; de 1555 a 1559; de 1578 a 1598.

Bajo los Habsburgo, el castillo experimentó una profunda transformación para prepararse ante posibles ataques enemigos ya no sólo con armas blancas como la espada o la lanza, sino con el uso de la pólvora y los cañones. La lógica constructiva del siglo XVI preveía castillos ya no elevados en altura, con torres de vigilancia difíciles de escalar, sino obras sólidas y de aspecto imponentes, circundadas por lo general de amplias zonas llanas para un control del enemigo más eficaz desde tierra.

Los edificios de las inmediaciones del castillo fueron demolidos para permitir su renovación, y con ellos algunas iglesias como Santa Maria delli Frati y Santa Caterina. Carlos V llevó a cabo así una intervención para engrosar las murallas hasta una sección de entre siete y doce metros e incorporar las estructuras antiguas: las angevinas fueron encajonadas en las de nueva construcción, mientras que todas aquellas partes que no cumplían con la idea de grandeza y simetría fueron demolidas. Las obras de Carlos V, bajo la dirección del arquitecto militar Evangelista Menga, duraron de 1532 a 1537 y fueron continuadas por sus sucesores hasta 1598.

La mayor obras fue la construcción de los cuatro baluartes de las esquinas. Su denominación tradicional, que coincide con la utilizada por el arquitecto Grisotti durante las obras de restauración de los años ochenta, se remonta a 1559, cuando aparecen en un documento, nombrados respectivamente, desde el suroeste en el sentido de las agujas del reloj, Santa María, San Vincenzo, San Antonio y de la Annunziata. A principios del siglo XIX, según una planimetría encontrada de un autor francés anónimo, se cambiaron los nombres de los baluartes, que pasaron a ser «di San Giacomo» (antes Santa María), «della campana» (antes San Vincenzo), «di Santa Maria» (antes San Antonio) y «di San Vincenzo» (antes la Annunciatta).

Todas las estructuras pertenecientes a épocas anteriores se cubrieron entonces con nuevos muros de estilo español, como el palatium angevino (cuyos cimientos formaban las paredes de una cisterna situada en el centro del patio del castillo), las torres normandas y toda la mampostería presente hasta entonces.

El castillo de Barletta adquirió así su aspecto morfológico actual: una estructura cuadrangular, con cuatro bastiones pentagonales en las esquinas, cañones en todos los lados y un foso que permitía separarse de tierra firme por tres de sus lados. El cuarto lado, al norte, daba a la costa para garantizar la defensa hacia el mar. El acceso al castillo estaba mediado por un puente levadizo de madera, construido en su totalidad durante el siglo XVI. Sin embargo, el castillo, renovado y adaptado como fortaleza, nunca llegó a utilizarse con fines militares, debido al desplazamiento de los intereses políticos de la cuenca mediterránea hacia América.

Entre finales del siglo XVI y principios del XVII se iniciaron nuevas obras para completar y mantener el castillo, en las que también se fomentó su habitabilidad y se recuperaron terrenos pantanosos de la ciudad y de las zonas cercanas al propio castillo. En 1621, Felipe IV de España se puso manos a la obra en las labores de mantenimiento y decidió construir un laboratorio de desactivación de bombas en la cubierta del ala oeste. Los terremotos de 1627 y 1629 dañaron bastantes edificios de Barletta, pero el castillo no mostró desperfectos.

La peste, que asoló la ciudad entre 1656 y 1657, causó daños en toda la ciudad, acabando con la mitad de sus habitantes. La tradición cuenta que la epidemia cesó en marzo de 1657 por intercesión de la Madonna del Sterpeto, cuyo icono fue encontrado precisamente en esa época en uno de los lugares devastados por la enfermedad, en cuya zona se construyó el Santuario de la Virgen.

Fueron reyes de Nápoles de la dinastía Habsburgo (Austria) Fernando el Católico (1504-1516), Juana de Castilla (1516-1555), Carlos V (1555-1556), Felipe II de España (1556-1598), Felipe III de España (1598-1621), Felipe IV (1621-1647 y 1648-1665), con el interregno del francés Enrique II de Guisa, dogo de su República Napolitana, de noviembre 1647 a abril de 1648, y Carlos II (Carlos I de Nápoles). Fallecido este el 1 de noviembre de 1700, el duque Felipe de Anjou, de diecisiete años, fue proclamado nuevo rey de España, convirtiéndose así en propietario del castillo.

La llegada de Felipe de Anjou (1700-1713) provocó el estallido de una guerra de sucesión entre Francia y Austria. Los Habsburgo, apoderándose primero de la Lombardía y después del Reino de Nápoles, lograron mantener el poder desde 1707 hasta 1734 bajo la soberanía de Carlos VI de Austria. Durante estos veintisiete años el castillo de Barletta fue dejado en un estado de abandono y de grave degradación, atestiguado por un "inventario de las municiones de alimentación y de guerra del Regio Castello di Barletta", que data de 1722, por el que se ha sabido de la falta total de mantenimiento o restauración por parte del gobierno austriaco. El estado de la obra se hizo evidente en 1734, cuando Giulio Borromeo Visconti, virrey austriaco, en vísperas de la batalla de Bitonto se refugió en el castillo, encontrándolo inutilizable.

El fin del virreinato austríaco llegó el 25 de mayo de 1734, con la batalla de Bitonto, librada contra los Borbones de España dirigidos por Carlos III de España (Carlos II de Nápoles), hijo de Felipe V. Con el tratado de paz, navegación y comercio de 1740 firmado con el Imperio otomano, terminaron los temores de invasión turca y con él la necesidad del sistema defensivo típico de la arquitectura militar. Los Borbones gobernaron de manera estable hasta 1799, Carlos III hasta 1759 y su hijo Fernando hasta en 1799.

Justo a fines del siglo XVIII, en la ola de la primera campaña de Italia de las tropas de la Francia republicana, después de la Revolución Francesa, comenzaron los movimientos revolucionarios que condujeron a la proclamación de la República Napolitana. Barletta fue una de las primeras ciudades en adherirse al movimiento insurreccional, tanto que el protectorado francés podría llegar a 1805, continuando, después de la coronación de Napoleón Bonaparte, con una verdadera dominación francesa, que vio desde 1806 hasta 1808 la presencia de José Bonaparte, hermano de Napoleón, seguido por Joaquín Murat, de 1808 hasta 1813. El general francés, después de visitar el castillo de Barletta el 14 de abril de 1813, ordenó proceder con la consolidación de las estructuras defensivas, en vista de un posible choque con las potencias europeas, lo que permitió el regreso de los borbones hasta la unificación de Italia.

Entre 1860 y 1870, el castillo se usó como prisión militar, pero en 1876, cuando ya no es considerado útil militarmente, fue subastado y otorgado al municipio de Barletta, por la suma de 30.100 liras.

El último asunto militar que involucró al Castillo de Barletta tuvo lugar el 24 de mayo de 1915, cuando durante la fase inicial de la Primera Guerra Mundial, el barco austriaco Helgoland cañoneó el bastión del norte. El castillo no sufrir más gracias a la intervención del cazatorpederos Turbine y a las defensas de la ciudad. Una lápida de mármol en la fachada sur del Rivellino, recuerda el suceso.

En septiembre de 1943, durante la Segunda Guerra Mundial, el castillo era la sede de una guarnición militar que se opuso a una resistencia extenuante al ejército alemán, decidida a ocupar la ciudad después del armisticio entre los italianos y los aliados. La entrada de tropas alemanas en la ciudad culminó con la masacre del 12 de septiembre. Tres años más tarde, la misa fue organizada en orden de los Jardines del Castillo, hasta entonces se fue en desuso.

Entre 1973 y 1987 se llevaron a cabo los trabajos de restauración de toda la estructura del castillo, bajo dirección del ingeniero Marcello Grisotti. El castillo volvió a ser utilizado por la ciudad y visitado por los turistas, gracias también a la instalación del Museo Cívico, exposiciones temporales y conferencias y biblioteca municipal.^[3]​ El 7 de diciembre de 2002, después de dos años de reformas adicionales, que vieron la reurbanización de los jardines del castillo transformados en parque con áreas equipadas, toda la zona fue devuelta a la ciudad, ahora punto neurálgico del centro histórico.