La banda fue formada en Kristiansand por el guitarrista Johnar Haaland y el vocalista Andreas Frigstad en 2003. Al corto tiempo, se unieron el tecladista y vocalista Sindre Nedland. En 2004 grabaron su primer trabajo discográfico, una pista de tres EP de tres canciones titulado Will the Sun Ever Rise?^[4]​ El EP presenta como invitado a Joakim Sehl en el bajo, mientras que la batería fue muestreda. Al año siguiente en 2005, se lanzó un nuevo EP llamado Wounds. Este EP contó con varios invitados, dos de ellos siendo el bajista / vocalista, Kristian Wikstøl, prestando tanto su bajo como sus habilidades vocales y el baterista Anders Haave. Anders se unió oficialmente a la banda poco después del lanzamiento, pero pronto fue reemplazado por Stig Reinhardtsen. Para ese entonces, la música de In Vain se había movido en una dirección más diversa y progresiva.

A finales de 2005, se unió a la banda el bajista Ole Vistnes y guitarrista Magnus Olav Tveiten, y comenzaron a escribir y a grabar su primer álbum de larga duración. El álbum debut fue titulado The Latter Rain, el cual fue grabado en el estudio DUB en 2006. Contó con cerca de 20 músicos invitados en las grabaciones, entre ellos Jan K. Transeth, Kjetil Nordhus y el futuro bajista / vocalista Kristian Wikstøl en las voces guturales.^[4]​ El guitarrista Even Fuglestad sustituyó al guitarrista Magnus Olav Tveiten durante las grabaciones, pero no fue posible incluirlo en el disco editado. En consecuencia, Magnus aún contribuyó en el disco. The Latter Rain fue lanzado en 2007. Justo antes de que la banda comenzara a tocar en conciertos, se les unió oficialmente el bajista / vocalista Kristian Wikstøl, quien reemplazó al exbajista Ole Vistnes. Tocaron en vivo con Battered y Vreid en Northern Brigade Tour en marzo-abril de 2007.

En el verano de 2008, la banda comenzó a grabar su segundo álbum de larga duración, titulado Mantra. El guitarrista Even Fuglestad dejó la banda en buenos términos antes de las grabaciones del álbum. A pesar de ello, contribuyó con algunas guitarras adicionales para el álbum. El futuro guitarrista sustituto, Kjetil D. Pedersen, aportó algunas guitarras principales en este álbum. Se unió a la banda antes de la gira promocional para el álbum, el cual fue lanzado el 18 de enero de 2010. Mantra presenta un género musical mucho más diverso que el álbum anterior, con dos pistas más cercanas al blues que al metal. Sindre Nedland también utilizó gruñidos más profundos junto con sus voces limpias, dando una mayor diversidad a la música. Sin embargo, la influencia del blues se descartó casi en su totalidad en el siguiente disco. En 2012 varios miembros de la banda se unieron a las presentaciones en vivo de Solefald. Más tarde ese mismo año, la banda se reunió para escribir y grabar su tercer álbum de larga duración.

Ænigma fue grabado en 2012 y fue lanzado el 11 de marzo de 2013. La gira de promoción de Ænigma incluyó tres músicos de sesión. El bajista, Kristian, decidió estudiar en el extranjero durante dos años, tomando un descanso fuera de In Vain, pero con la intención de volver después. El reemplazo fue Alexander Lebowski Bøe de Solefald. Aún se desconoce quién de ellos grabará en el próximo disco. El batería, Stig, estuvo trabajando en Corea y su reemplazo fue Baard Kolstad de Borknagar, ICS Vortex, Ihsahn y Solefald. El guitarrista Kjetil estuvo poco tiempo fuera debido a compromisos familiares, y su reemplazo fue Petter Hallaråker de ICS Vortex y Rendezvous Point.

Johnar Håland estuvo escribiendo canciones para su cuarto disco, finalmente lo publicó después de 5 años de su anterior trabajo, de nombre Currents, salió el 26 de enero de 2018, en el 2014 ocurre otro cambio de formación, sale el bajista Kristian Wikstøl del grupo y entra otro bajista de nombre Alexander Lebowski Bøe, para también hacer voces.

Johnar Haland y el grupo anunciaron su quinto disco, de nombre Solemn, fue lanzado el 19 de Abril del 2024 a través de Indie Recordings, el álbum recibió críticas positivas.

El 4 de marzo de 2025, la banda pública un comunicado anunciando el fallecimiento de Sindre por cáncer, ya que la enfermedad del vocalista había regresado hace 1 año, en el perfil de Sindre la familia escribió también un comunicado de su fallecimiento a través de sus redes sociales.

Un mes después, el 3 de abril del 2025 la banda publica otro comunicado en el cual hablan sobre el apoyo tras el fallecimiento de Sindre y que se sienten agradecidos por los mensajes, y posteriormente anunciaron que la banda continuará activa, haciendo conciertos y posiblemente otro nuevo álbum.

• Johnar Håland - Guitarra & Coros (2003–presente)
• Andreas Frigstad -Voz principal (2003–presente)
• Stig Reinhardtsen - Batería (2005–present)
• Alexander Lebowski Bøe - Bajo, Screaming & Coros (2014–presente)
• Kjetil Pedersen - Guitarra & Coros (2010–presente)

• Alexander Lebowski Bøe - Bajo & Coros (2013–present)
• Baard Kolstad - Batería (2013–present)

• Anders Haave - Batería (2004-2005)
• Magnus Olav Tveiten - Guitarra (2005-2006)
• Joakim Sehl - Bajo (2004-2005) (session)
• Even Fuglestad - Guitarra (2006-2008)
• Ole Vistnes - Bajo (2005-2006)
• Kristian Wikstøl - Bajo, Screaming & Coros (2006–2013)
• Petter Hallaråker - Guitarra (2013) (en conciertos)
• Sindre Nedland - Voz & Piano / Batería / Teclados (2003–2025) (fallecido)

• The Latter Rain (2007)
• Mantra (2010)
• Ænigma (2013)
• Currents (2018)

• Will the Sun Ever Rise? (2004)
• Wounds (2005)

• Página oficial
• Encyclopaedia Metallum, In Vain
• Indie Recordings, In Vain
• Metal Norge, In Vain
• In Vain on Myspace
• nrk.no, Ekstremmetal og sørlandsvise