Nimes fue un condado (ver Condado de Nimes) que perteneció a los condes de Tolosa desde la segunda mitad del siglo IX (hacia 872). Los condes tolosanos dejaron el poder en manos de vizcondes, y la dinastía vizcondal gobernó cerca de cien años hasta que en 956 la heredera Gauciana (Cecilia) se casó con Bernat II Ató (I de Nimes), vizconde de Albi, quedando unidos ambos vizcondados. Bernat II Ató tuvo tres hijos: Frotari obispo, Ermengarda (casada con Bernat I señor de Andusa) y Ató II, vizconde de Albí y Nimes, casado con Gerberga. Murió en 1032 y dejó tres hijos: Frotari (cuarto obispo de este nombre dentro de la familia), Sigari, y Bernat III Ató, vizconde de Albí y Nimes (Bernat II Ató de Nimes), casado con Ramgarda de Rasès, con la que tuvo a Ramon Bernat I Trencavell, que en 1060 recibió a Nimes y Albí y por matrimonio con Ermengarda fue vizconde de Besiers y Agde y conde de Carcasona y Rasés.

Los derechos de Ermengarda en Carcasona y Rasés fueron vendidos al conde de Barcelona que ejercía la soberanía feudal sobre Besiers y Agde, y que los devolvió en feudo a Ramon Bernat I Trencavell. En 1074 murió Ramón Bernat I, y le sucedió en Nimes y Albi su hijo Bernat Ató I, que en 1082 reclamó la plena soberanía sobre Carcasona, Rasés, Besiers y Agde por los derechos de su madre. En 1129, a la muerte de Bernat Ató I, Nimes y Agde pasaron a su hijo Bernat Ató II (casado con Guillema de Montpellier), y Albi, Besiers, Carcasona y Rasés a los hilos Roger y Ramon Trencavell I. Muerte Bernat Ató II en 1159, le sucedió su hijo Bernat Ató III.

En ese tiempo el vizcondado pasó a depender por lazos feudales del conde de Barcelona y rey de Aragón Alfonso el Casto, continuando así «la política de alianzas iniciada por Ramón Berenguer IV... De un modo u otro, su hijo Alfonso el Casto llegó a reinar sobre una gran parte del sur de Francia: fue soberano directo de Provenza, Millau, Gabaldá y Roergue; actuó como soberano indirecto (por lazos feudales) de los condados Rasès, Carlat, Foix y Bigorra y de los vizcondados de Nimes, Béziers, Carcasona y Bearn; y finalmente se convritió en protector del señorío de Montpellier».^[1]​

En 1214 Simón IV de Montfort ocupó Nimes y su hijo Amalric renunció a sus derechos en 1226 a favor del rey de Francia. Ramón Trencavell III, de la otra rama de los Trencavell (de Carcasona, Rasés, Besiers y Albí) renunció a todos los derechos en favor del rey de Francia a cambio de una pensión de 600 libras en 1247.