Las partes más antiguas de edificio están cerca de un zoológico que proviene del siglo XII.^[2]​ El primer castillo pequeño llamado Herwigstein (del nombre de Herwig de Krottendorf) llegó a ser un feudo de la familia Stubenberg. Otto von Hartenberg pudo liberar el castillo por un pago a los Stubenbergs y es considerado como el antepasado del palacio de Herberstein desde entonces.^[3]​

En 1400 el castillo fue rodeado por una enorme muralla exterior, que incluía previamente la capilla gótica de Santa Catalina. La muralla fue ampliada en el siglo XV en varias ocasiones. A mediados de siglo XVI, el castillo fue transformado en un edificio de viviendas con elementos renacentistas y ensanchado para dar cabida a la numerosa prole. En el siglo XVII, se construyó la sala de banquetes y se remozó el profundo foso. En el siglo XVII, el 'Florentinerhof' fue construido según un modelo italiano, completándose a finales del siglo con la capilla de San Jorge, la casa de los jardineros y la del administrador ('Maierhof').^[4]​

En los siglos XVII y XVIII, alrededor de una quinta parte de Estiria estaba en manos de los Condes de Herberstein. El castillo sigue siendo propiedad de dicha familia y sirve como un centro residencial y administrativo.^[5]​

La entrada al castillo incluye visitas guiada, acceso a los jardines históricos, el zoológico y el Museo Gironcoli, que cuenta con obras de artistas contemporáneos y austriacos como Bruno Gironcoli.^[6]​