Martin nació en Sneedville (Tennessee),^[1]​ y se crio en la dura vida agrícola del este rural de Tennessee, cantando en la iglesia y con amigos de las granjas circundantes. Su madre y su padrastro, que solían cantar góspel, fueron sus primeras influencias. Cuando era adolescente tocaba la guitarra en una banda de cuerdas local y luego apareció en la radio con Tex Climer y los Blue Band Coffee Boys.

En el invierno de 1949, Mac Wiseman acababa de dejar los Blue Grass Boys de Bill Monroe. Martin, que quería postularse para el puesto vacante como guitarrista, tomó el autobús hasta Nashville y se coló entre bastidores en el Grand Ole Opry. Mientras tocaba su guitarra, fue escuchado por el banjo de los Blue Grass Boys, Rudy Lyle, quien lo presentó a Monroe. Martin cantó dos canciones con Monroe y fue contratado. A partir de 1949, Martin fue el vocalista principal de Blue Grass Boys de Bill Monroe.^[1]​ La voz aguda de Martin mezclada con el tenor de Monroe llegó a ser conocida como el sonido "alto y solitario". Su influencia cambió radicalmente la música de Monroe desde el estilo rápido pero suave de la banda "original" de 1945 con Flatt y Scruggs . Martin desafió a Monroe a elevar el tono de muchos de sus clásicos y a escribir canciones nuevas y "solitarias". Esta banda con Rudy Lyle (banjo) y Charlie Cline (violín) fue uno de los muchos puntos culminantes de la carrera de Monroe. El liderazgo de Martin se definió en canciones "solitarias" como "Sitting Alone in the Moonlight", "Memories of Mother and Dad" y "I'm Blue, I'm Lonesome".^[2]​

Martin tenía una personalidad muy nerviosa y exuberante, e inevitablemente chocaba con el temperamento igualmente obstinado de Monroe. Dejó Monroe y trabajó brevemente con los Osborne Brothers hasta que formó su propia banda, The Sunny Mountain Boys, en 1955.^[1]​ La formación clásica de esta banda, con JD Crowe y "Big" Paul Williams (nombre artístico de Paul Humphrey), definió su estilo "Good 'n Country", un bluegrass orientado comercialmente que agrada al público con armonías simples, melodías pegadizas y un ritmo fuerte impulsado por la eficaz forma de tocar la guitarra de Martin. Se atribuyó el mérito de haber inventado la ejecución "G", un lick de guitarra ampliamente utilizado en el género bluegrass. Sin embargo, la evidencia auditiva del período anterior a que Martin comenzara a actuar profesionalmente muestra claramente que Lester Flatt usó esta carrera cuando respaldaba a Bill Monroe.

Tres componentes importantes del sonido único de Martin, además de su cortante voz de tenor, eran el canto en trío, a veces una cuarta parte femenina de barítono alto y el uso de una caja en lugar de mandolina para mantener el ritmo. Entre los mayores éxitos de Martin de la década de 1960 se encuentran "Hit Parade of Love", "Sophronie", "Stepping Stones", "Tennessee" y "Widow Maker" (una canción popular de camioneros). Sus instrumentales (con los Sunny Mountain Boys), como "Theme Time", "Bear Tracks" y "Red Rooster", presentaban una interpretación ultra nítida de una serie de músicos de banjo, incluidos Sam "Porky" Hutchins, J.D. Crowe, Vernon McIntyre, Jr. y Bill Emerson , y, impulsado por las guitarras de Martin, establecieron un estándar para los instrumentales de bluegrass que fue muy influyente.

En las décadas de 1960 y 1970, los Sunny Mountain Boys de Jimmy Martin incluían a la cantante e instrumentista Gloria Belle, considerada la primera cantante principal femenina de bluegrass.^[3]​ Realizó una gira por Japón con Martin durante 1975.^[4]​ Martin era famoso por su presencia escénica peligrosamente impredecible, pero muy entretenida. Reconoció abiertamente sus problemas con la bebida y sus cambios de humor volátiles, que le impidieron hacer realidad el sueño de su vida de unirse al Grand Ole Opry. Hizo apariciones frecuentes en Louisiana Hayride y Wheeling, el WWVA Jamboree de West Virginia (rebautizado como Jamboree USA en la década de 1960), así como en el Grand Ole Opry, pero nunca fue invitado a unirse a este último. En 1973, actuó en el Jamboree del Condado de Brown de Bill Monroe.^[5]​

Actuó en el álbum de 1971 de Nitty Gritty Dirt Band, Will the Circle Be Unbroken,^[1]​ así como en el Volumen II (1989) y el Volumen III (2002). Se unió a los productores Randall Franks y Alan Autry para el álbum Christmas Time's A Comin' del elenco de In the Heat of the Night, interpretando "Christmas Time's A Comin'".

Martin murió en Nashville el 14 de mayo de 2005, después de haberle diagnosticado cáncer de vejiga más de un año antes. Está enterrado en el cementerio Spring Hill en el barrio Madison de Nashville.

• Earl Scruggs
• Lester Flatt
• Thomas Edd Mayfield

• Discografía en Discography of Bluegrass Sound Recordings
• Otra discografía