Fue el director de la yeshivá, el director de estudios religiosos, de la Universidad Yeshiva, ubicada en Nueva York. Soloveitchik buscaba un equilibrio entre la ciencia, la democracia, y el judaísmo ortodoxo.^[2]​^[3]​

Durante el trascurso de su carrera prolífica, en el seno de esa institución, participó en la formación y en la coordinación de 2.000 rabinos. Joseph B. Soloveitchik está considerado como una personalidad importante del judaísmo ortodoxo moderno, la facción de los judíos ortodoxos que aspiran a una inserción casi completa y posible en la sociedad, permaneciendo en el marco de la Halajá, la ley judía.^[4]​

Publicó más de 70 libros. En 1937, creó la Escuela Maimónides (en inglés: Maimonides School) en Brookline, Massachusetts.^[5]​

Un punto central de su filosofía es la búsqueda de una síntesis entre el mundo judío tradicional y el mundo occidental. A diferencia del Rabino Samson Raphael Hirsch, que intentó aproximar el mundo judío a la cultura alemana, Soloveitchik se centró principalmente en la educación occidental, encarnada por los estudios universitarios. El rabino estableció el requerimiento de un diploma universitario, como condición para la obtención la ordenación rabínica (semijá), en la Universidad Yeshiva.^[6]​^[7]​

Antes y durante la Segunda Guerra Mundial, Soloveitchik formaba parte del Consejo de Sabios de la Torá (Moetzes Gedolei HaTorah), el consejo rabínico de la organización Agudath Israel de América, una organización tradicional y ortodoxa, que por aquel entonces era antisionista. Profundamente afectado por la Shoá, Soloveitchik abandonó el movimiento World Agudath Israel, y se unió a la organización Mizrachi World Movement (un movimiento sionista y religioso). Fue el presidente honorífico del Mizrachi World Movement hasta su muerte.^[8]​^[9]​