La formación se unió por primera vez en 1984 como banda de acompañamiento de Vernon Oxford y Minnie Pearl. Cada uno de los miembros era ya en ese momento un músico establecido de la comunidad bluegrass de Nashville.^[1]​ En 1985, firmaron con el sello discográfico Rounder Records y grabaron su álbum debut producido por Béla Fleck, My Native Home. Incorporaron elementos de góspel negro y espirituales, entonces una rareza en el bluegrass, que se convirtieron en éxitos de crítica y popularidad tanto en Estados Unidos como en el extranjero. El grupo realizó giras por unos 20 países y fue la primera banda de bluegrass en tocar en China. ^[2]​

La banda continuó grabando para Rounder y Sugar Hill hasta la década de 1990; dos de los álbumes, Waitin' for the Hard Times to Go de 1993 y Unleashed de 1995, ganaron premios Grammy al Mejor Álbum de Bluegrass. ^[3]​ Otros álbumes fueron nominados a los Grammy en la misma categoría en 1988, 1990, 1991, 1998 y 2004. ^[2]​ Después de la salida del bajista Gene Libbea y el mandolinista Roland White en 1998, el grupo hizo una breve pausa, pero después de que el vocalista Pat Enright cantara como uno de los Soggy Bottom Boys de O Brother, Where Art Thou? , la carrera del grupo tuvo un resurgimiento. Tocaron como grupo de acompañamiento para muchos artistas en la gira y el álbum Down from the Mountain, y volvieron a realizar giras solos en la década de 2000.

• 1985 - My Native Home (Rounder)
• |1986 - Idle Time (Rounder)
• 1987 - To Be His Child (Rounder)
• 1988 - New Moon Rising (Sugar Hill)
• 1990 - The Boys Are Back in Town (Sugar Hill)
• 1991 - The Nashville Bluegrass Band (Rounder)
• 1991 - Home of the Blues (Sugar Hill)
• 1993 - Waitin' for the Hard Times to Go (Sugar Hill)
• 1995 - Unleashed (Sugar Hill)
• 1998 - American Beauty (Sugar Hill)
• 2004 - Twenty Year Blues (Sugar Hill)
• 2007 - Best of the Sugar Hill Years (Sugar Hill)