Jeremy John Ratter nació en Essex en una familia acomodada. Asistió a dos famosas escuelas públicas británicas en su ciudad natal: Brentwood School y Lindisfarne College, de las que fue expulsado. Cuando logró terminar su educación secundaria decidió entrar a estudiar filosofía en el Magdalen College de la Universidad de Oxford.

Apareció en ITV Granada, en el programa Ready Steady Go! recibiendo un premio de John Lennon. En 1977, Jeremy cambió su nombre a Penny Rimbaud en honor al poeta francés Arthur Rimbaud y usó el apodo Penny que un amigo de Cambrigde le puso en su época universitaria.

• The Feeding of the 5000 (LP, 1978, Small Wonder Records) [UK Indie -#1]
• The Feeding of the 5000 - Second Sitting (LP, 1980, reedición de Crass Records 621984, con el sencillo "Asylum" reintegrado) (UK Indie – #11)
• Stations Of The Crass (521984, doble LP, 1979) (UK Indie – #1)
• Penis Envy (321984/1, LP, 1981) (UK Indie – #1)
• Christ - The Album (BOLLOX2U2, doble LP, 1982) (UK Indie – #1)
• Yes Sir, I Will (121984/2, LP, 1983) (UK Indie – #1)
• Ten Notes on a Summer's Day (Cat No. 6, LP, 1985, Crass Records. Poemas escritos por Penny Rimbaud y puesta con una canción de rock lenta, cantada por Eve Libertine y Steve Ignorant.)
• Acts Of Love (1984/4, LP y libros, 1985. Poemas de Penny Rimbaud junto a música clásica, cantada por Eve Libertine y Steve Ignorant. El libro está ilustrado con pinturas de Gee Vaucher)
• Best Before 1984 (CATNO5, compilación doble LP, 1986) (UK Indie – #7)
• The Crassical Collection; The Feeding of the 5000 (CC01CD edición remasterizada de The Feeding of the 5000, 2010)
• The Crassical Collection; Stations of the Crass (CC02CD edición remasterizada de Stations of the Crass, 2010)
• The Crassical Collection; Penis Envy (CC03CD edición remasterizada de Penis Envy], 2010)
• The Crassical Collection; Christ - The Album (CC04CD edición remasterizada de Christ - The Album, 2011)
• The Crassical Collection; Yes Sir, I Will (CC05CD edición remasterizada de Yes Sir, I Will, 2011)
• The Crassical Collection; Ten Notes on a Summer's Day (CC06CD edición remasterizada de Ten Notes on a Summer's Day, 2012)

• "Reality Asylum" / "Shaved Women" (CRASS1, 7", 1979) (UK Indie – #9)
• "You Can Be You" (521984/1, 7" sencillo de Honey Bane, respaldada por Crass bajo el nombre de Donna and the Kebabs, 1979) (UK Indie – #3)
• "Bloody Revolutions" / "Persons Unknown" (421984/1, 7" sencillo grabado con the Poison Girls, 1980) (UK Indie – #1)
• "Tribal Rival Rebel Revels" (421984/6F, sencillo de flexi disc entregado en la fanzine Toxic Grafity, 1980)
• "Nagasaki Nightmare" / "Big A Little A" (421984/5, 7" single, 1981) (UK Indie – #1)
• "Our Wedding" (321984/1F, sencillo de flexi disc de Creative Recording And Sound Services para los lectores de la revista juvenil Loving)^[1]​)
• "Merry Crassmas" (CT1, sencillo de 7", 1981, sátira de Crass al mercado navideño) (UK Indie – #2)^[1]​)
• "Sheep Farming In The Falklands" / "Gotcha" (121984/3, sencillo de 7", 1982, originalmente lanzado anónimamente como flexi-disc) (UK Indie – #1)
• "How Does It Feel To Be The Mother Of 1000 Dead?" / "The Immortal Death" (221984/6, sencillo de 7", 1983) (UK Indie – #1)
• "Whodunnit?" (121984/4, 7" single, 1983), pressed in "shit coloured vinyl") (UK Indie – #2)
• "You're Already Dead" / "Nagasaki is Yesterday's Dog-End" / "Don't get caught" (1984, 7" single, 1984)
• "Ten Notes On A Summer's Day" (CATNO6, 12" EP, 1986) (UK Indie – #6)

• "Penny Rimbaud Reads From 'Christ's Reality Asylum'" (Cat No. 10C, C90 casete, 1992)

• Christ: The Bootleg (grabado en vivo en Nottingham, 1984, lanzado en 1989 por Allied Records)
• You'll Ruin It For Everyone (grabado en vivo en Perth, Escocia, 1981, lanzado en 1993 por Pomona Records)

• Shibboleth- My Revolting Life (Penny Rimbaud, 1999, AK Press)
• The Diamond Signature (Penny Rimbaud, 1999, AK Press)
• An extensive interview with Rimbaud appears in issue 29 of The Idler magazine
• In The Beginning…Was The Word (Penny Rimbaud, 2005, Bracketpress)
• Freedom Is Such A Big Word (Penny Rimbaud, 2006, Bracketpress)
• Methinks (Penny Rimbaud, 2006, Bracketpress)
• How? (Penny Rimbaud, 2006, Bracketpress)
• The Conveniences of Philosophy (Penny Rimbaud, 2007, Bracketpress)
• Smile or Smirk? (Penny Rimbaud, 2007, Bracketpress)
• And Now It Rains (Penny Rimbaud, 2007, Bracketpress)
• I The Indigene & Africa Seems So Far Away (Penny Rimbaud, 2007, Bracketpress)
• Turn On, Tune In, Cop Out (Penny Rimbaud, 2008, Bracketpress)
• Nobody's Child (Penny Rimbaud, 2008, Bracketpress)
• The Last of the Hippies (Penny Rimbaud, 2008, Active Distribution)
• This Crippled Flesh – A Book of Philosophy and Filth (Penny Rimbaud, 2010, Bracketpress/Exitstencil Press)
• Particular Nonsense (essay) The Idler, No.43 'Back to the Land', mayo de 2010

•   Wikiquote alberga frases célebres de o sobre Penny Rimbaud.
• Rimbaud's website Archivado el 23 de septiembre de 2023 en Wayback Machine.
• Interview with Penny Rimbaud
• Extract from Fierce dancing by C.J.Stone, Rimbaud talking about Wally Hope
• PUNKCAST#1065 Video of Rimbaud/Elliott – Last Amendment – at Gavin Brown Passerby NYC on 8 November 2006.