Stoller nació en la ciudad de Nueva York y creció en Sheepshead Bay, Brooklyn. Tiene una hermana, Cindy, seis años mayor que él, y es judío. Stoller asistió al Kingsborough Community College antes de irse para dedicarse a la comedia a tiempo completo.

Stoller había trabajado como comediante en clubes nocturnos desde principios de la década de 1980 en el momento de su primera aparición en televisión, en 1987, cuando apareció en Stand-Up America y en 1989 en The Young Comedians Special junto con otros seis comediantes.

Obtuvo reconocimiento por sus frecuentes apariciones como Gerard en la comedia de situación de CBS Everybody Loves Raymond, el Sr. Lowe en Manual de Supervivencia Escolar de Ned y como Sheldon Singer, el hijo del personaje propietario de la tienda de delicatessen de Harold Gould, en la comedia de situación de corta duración Singer & Sons (el último programa, que duro cuatro episodios, sigue siendo el único trabajo regular de la serie de Stoller en su carrera). También ha hecho apariciones como invitado en varias otras series de televisión. Escribió dos episodios de Seinfeld ("The Soup" y la subtrama de Kramer/chimpancé de "The Face Painter"). También apareció como Fred en el episodio "The Secret Code".

Stoller también es conocido como las voces de Chuck the Evil Sandwich Making Guy en WordGirl, Stanley en la franquicia Open Season, Rusty the Monkey Wrench en Handy Manny, Fred the Squirrel en Los Pingüinos de Madagascar y Steve Tree en Oswald.

En 2025, Stoller volvió a aparecer en Super Duper Bunny League como el científico loco Dr. Fuzzleglove que estuvo detrás del accidente que le dio al equipo titular sus superpoderes.

En 2012, Stoller publicó un exitoso libro electrónico titulado My Seinfeld Year, en el que hizo una crónica de sus experiencias después de ser contratado como nuevo escritor del personal. Desde entonces, ha publicado un libro titulado Maybe We'll Have You Back: The Life of a Perennial TV Guest Star, y un segundo libro electrónico, Five Minutes to Kill: How the HBO Young Comedians Special Changed the Lives of 1989's Funniest Comics, en 2017.

• 1986 Cocodrilo Dundee
• 1994 Dumb and dumber
• 1995 Esquí duro
• 1998 Presidente de la Junta
• 2001 Joe Dirt
• 2002 Austin Powers en Goldmember
• 2005 Rebound
• 2006 Chiquito pero peligroso
• 2008 Open Season 2
• 2009 Dr. Dolittle 5: El perro del millón de dólares
• 2010 Open Season 3
• 2011 The Change-UP
• 2013 Película Paranormal

• 1991-1996 Murphy Brown
• 1995-1997 Dr. Katz
• 1995 Entrenador
• 1995 El show de Drew Carey
• 1995 Seinfeld
• 1996 Wings
• 1997-1999 La niña
• 1997-2000 Science Court
• 1997-2001 Friends
• 1997 Alright Already
• 1997 Cow and Chicken
• 1997 I am Weasel
• 1997 El show de Gregory Hines
• 1998-1999 Sabrina the Teenage Witch
• 1998-2003 Everybody Loves Raymond
• 2000 The King of Queens
• 2001 Dharma & Greg
• 2001-2002 Raising Dad
• 2002-2005 Exfoliaciones
• 2003-2006 ¡Todo crecido!
• 2004-2007 Manual de supervivencia escolar de Ned
• 2005 Monk
• 2005 Drake y Josh
• 2006-2013 Handy Manny
• 2007-2015 Palabra Chica
• 2008 ¡Al azar! Dibujos animados
• 2009-2012 Los pingüinos de Madagascar
• 2009 Hannah Montana
• 2010-2012 Los hechiceros de Waverly Place
• 2012-2015 Bob's Burger
• 2014 Anger Management
• 2014 Más Allá del Jardín
• 2014 Lago de sangre: El ataque de las lampreyas asesinas
• 2015-2016 Harvey Beaks
• 2017 Bones
• 2017 Modern Family
• 2018 Problemas para dormir
• 2020 Woody Woodpecker
• 2021 Rick y Morty
• 2022 Raven's Home
• 2022 Oddballs
• 2024 Moon Girl and Devil Dinosaur
• 2025 Super Duper Bunny League

• My Seinfeld Year (Kindle Single) (2012)
• Tal vez te tenga de vuelta: La vida de una estrella invitada de televisión perenne (2013)
• Cinco minutos para matar: cómo el especial de jóvenes comediantes de HBO cambió las vidas de los cómics más divertidos de 1989 (Kindle Single) (2017)