Joseph Rubinstein nació en una familia judía adinerada en la parte ucraniana del Imperio ruso. En su ciudad natal recibió sus primeras lecciones de piano del pianista de habla alemana Josef Schadek. Desde los once años, Rubinstein vivió en Viena, donde se convirtió en alumno de Josef Dachs en el Conservatorio de la Sociedad de Amigos de la Música de Viena.

En 1865 apareció como virtuoso del piano en Viena y en su tierra natal. En el otoño de 1869, la gran duquesa Elena de Rusia lo nombró pianista de cámara en Salzburgo, donde residía en ese momento. Durante una gira de conciertos por San Petersburgo aprendió del crítico musical y compositor Alexander Serow y conoció por primera vez las obras de Richard Wagner. Para Rubinstein, ésta fue una experiencia de despertar, sobre la cual más tarde escribió:

"El resultado de esta inmersión en un mundo nuevo fue una conversión formal a los principios del maestro de Bayreuth, pero al mismo tiempo también un deseo indomable de poder acercarme personalmente al hombre cuyas obras me entusiasmaron tanto".

El 7 de marzo de 1872, Wagner finalmente recibió en Tribschen una carta de Rubinstein, que comenzaba con una confesión:

"Soy judío, esto lo dice todo. Poseía también todas las características que se notan en el judío de hoy: me arrastraba por la vida en completo desánimo y en una debilidad casi vergonzosa. Entonces sucedió que las circunstancias trajeron mi atención hacia tus obras. Serov me inspiró para estudiarlo en Petersburgo. (...) Pero la época que fue la más feliz de mi vida, la época de estudiar esas obras, ya pasó.

¡Lo único que me queda es la muerte! − Ya intenté regalármelo, pero aun así decidí escribirte. Quizás pueda ayudarme. Por supuesto, no me refiero a ayudar por mera lástima. (...) ¡No! ¿Pero no podría serle útil en la representación del Nibelungo? Creo que entiendo este trabajo, aunque todavía no del todo. − Espero ayuda y ayuda de usted, que es urgente. Mis padres son ricos. Tendría los medios para viajar hasta usted de inmediato. Espero una respuesta lo antes posible".

Wagner respondió a Rubinstein en tono amistoso y lo invitó a Tribschen. Cósima Wagner informó sobre esto a Friedrich Nietzsche: Deberías ver aquí una carta extraña de alguien que busca la salvación a través de la participación en Bayreuth.

Ya antes de que Rubinstein llegara a Tribschen, Wagner recibió una carta del médico de Rubinstein, Maximilian Leidesdorf, jefe del departamento de salud mental del Hospital general de Viena:

"Perdóneme si prefacio la visita que le hará el señor Joseph Rubinstein con unas líneas para que pueda ser realmente útil a este joven artista, lo que sin duda es su deseo dada su generosa disposición. El joven no sólo siente por usted la admiración natural y el entusiasmo que su genio creativo debe generar en los verdaderos artistas, sino que también tiene en usted la máxima confianza. Sin embargo, una enfermedad psicológica apenas superada y que todavía persiste requiere mucha precaución y protección, y en mi opinión el joven artista debe ser protegido de cualquier excitación durante otras 8 a 12 semanas y someterse a un tratamiento de spa en la mayor tranquilidad (mental y física). Teniendo esto en cuenta, les pido que actúen con amabilidad con él".

Rubinstein llegó a Tribschen el 21 de abril de 1872, pero al día siguiente Wagner abandonó Suiza y se trasladó a Bayreuth. Finalmente, desde julio de 1872, Rubinstein apareció en Bayreuth y se convirtió en el constante compañero y colaborador de Wagner. Le encargaron copiar “ Götterdämmerung ”. Pasó la Navidad de 1874 en la Villa Wahnfried y se le permitió decorar el árbol de Navidad con Cosima, tras lo cual realizó una gira de conciertos. En el verano de 1875, Rubinstein regresó a Bayreuth para participar como maestro repetidor en los ensayos preliminares de El anillo del nibelungo. Un mes antes de la inauguración del Festival de Bayreuth, sin embargo, se marchó tras una discusión con Wagner durante el ensayo. Wagner se limitó a decirle a Cósima: los ensayos de piano terminaron con el despido total del señor Rubinstein, quien por una vez más demostró las características más tristes de su tribu. Testigo del hecho fue el joven director Felix Mottl:

"11. Julio: Después de uno de los últimos ensayos de piano, Wagner quiere agradecer a Anton [sic] Rubinstein por su trabajo. Empieza muy amigable y luego dice algo como: Si no nos hemos acercado mucho desde entonces, no es culpa mía, es culpa tuya. Son de una raza extranjera que no es cercana a nosotros. (Judaísmo.) Al final se vuelve muy apasionado, de modo que el agradecimiento planeado se convierte en mal humor. (...) 14 de julio: Wagner dice que Rubinstein ha desaparecido y parece que le han disparado o envenenado".^[1]​

En mayo de 1878, Rubinstein regresó nuevamente a Bayreuth después de disculparse con Wagner por su comportamiento. A partir de noviembre de 1878, Rubinstein volvió a trabajar para Wagner en la preparación del estreno de Parsifal, se convirtió en su pianista local y permaneció constantemente a su lado. En agosto de 1879, apareció en la revista Bayreuther Blatter de Wagner un artículo de Rubinstein sobre la música de Schumann, en el que lamentaba la popularidad de Robert Schumann y declaraba que su influencia era "dañina y deformante para el gusto y el sentimiento".^[2]​ Cosima Wagner anotó en su diario: "El señor Rubinstein trae su ensayo sobre Schumann, que R[ichard] encuentra excelente y que inmediatamente envía a imprimir".^[3]​

En 1880 Rubinstein viajó a Berlín para dar conciertos a beneficio del festival. Tocó íntegramente el Clave bien temperado ' de Johann Sebastian Bach durante seis noches y transfirió sus honorarios al fondo del festival. En 1882 siguió a Wagner a Italia, vivió con Cosima y los niños en Venecia y tocaba regularmente el piano, en su mayoría partes de las óperas de Wagner, para entretener a la familia y a los invitados. El 22 de octubre de 1882, Rubinstein abandonó inesperadamente Venecia y se dirigió a Járkov con sus padres. Cuando se enteró de la muerte de Wagner allí en febrero de 1883, envió un telegrama de condolencia a la viuda de Wagner, Cosima.

En la primavera de 1883 Rubinstein volvió a realizar una gira de conciertos, con arreglos y fantasías basadas en Richard Wagner. En agosto de 1884 condujo hasta Tribschen y, a la edad de 36 años, se pegó un tiro en el lago de Lucerna. A instancias de Cosima Wagner, su cuerpo fue transportado a Bayreuth y enterrado en el cementerio judío de Bayreuth. Su padre hizo erigir un obelisco negro sobre su tumba.