El Hôtel de Soubise fue construido en 1371 con el nombre de Hôtel de Clisson y posteriormente adquirido por los duques de Guise. En 1705, fue reconstruido por el arquitecto Pierre-Alexis Delamair (1676-1745) para François de Rohan-Soubise y Ana de Rohan-Chabot, quedando de la estructura original poco más que su portal medieval torreado, único vestigio de la arquitectura privada parisina del siglo XIV.^[2]​

El Hôtel de Rohan, contiguo, se construyó al mismo tiempo. En 1808, ambos edificios fueron adquiridos por el Estado, tras lo cual Napoleón Bonaparte destinó el Hôtel de Soubise a Archivos del Imperio y el Hôtel de Rohan a Imprenta Nacional (que así permaneció hasta 1927).

Léon de Laborde, arqueólogo y prolífico autor de documentación sobre artistas, colecciones de museos e historia de Francia, fue director general de los Archivos del Imperio desde marzo de 1857 hasta abril de 1868.^[3]​ Fue el principal responsable de la creación del museo relativo a las colecciones de los archivos.^[2]​ El museo se inauguró oficialmente el 19 de julio de 1867, después de que de Laborde pasara años recopilando y seleccionando documentos, y desarrollando después un sistema de clasificación y numeración.^[3]​

El museo cuenta tanto con una exposición permanente como con exposiciones especiales rotativas, que no sólo ponen de relieve los fondos de los Archivos Nacionales de Francia, sino que también proporcionan historia sobre los procesos archivísticos.^[2]​ La colección cuenta con objetos que se remontan al siglo I.

De Laborde desarrolló el sistema de clasificación y numeración de la colección, la mayoría de los cuales aún se utilizan:^[4]​

AE I: el Armoire de fer (o «cofre de hierro») alberga muchos de los documentos más preciados, como el testamento de Napoleón Bonaparte, el Diario de Luis XVI de Francia y las constituciones francesas.^[2]​^[4]​

AE II: es el museo de documentos franceses, incluido uno de los documentos más antiguos conservados en los Archivos, un pergamino del rey Childeberto III concediendo tierras a la abadía de Saint-Denis.

AE III: es el museo de documentos extranjeros. Incluye objetos como la correspondencia entre el rey Enrique III de Inglaterra y Luis IX de Francia.

AE V: incluye pruebas incriminatorias y objetos incautados, como diversos documentos de casos históricos, como el de Robert-François Damiens, conocido por su intento de asesinato del rey Luis XV de Francia.

AE VI: son objetos históricos, como antiguas llaves de la ciudad y objetos del Hôtel de Soubise y del Hôtel de Rohan de cuando eran residencias.^[2]​^[4]​

AE IV: esta clasificación era usada para las colecciones sigilográficas. En la actualidad ya no existe, ya que con el tiempo se constituyó en su propia colección separada fuera del museo.

Los hoteles de Soubise y de Rohan tienen una arquitectura exterior de estilo barroco, con habitaciones de estilo rococó, como la Chambre du prince, el Salon ovale du prince, la Chambre d'apparat de la princesse, un divertido Cabinet des singes (Gabinete de los monos) y el elegante Salon ovale de la princesse, con decoración en dorado y cristal y frescos en el techo de François Boucher, Charles-Joseph Natoire y Carle Van Loo. Muchas de las salas fueron cuidadosamente restauradas a principios del siglo XX.^[5]​