Descendiente de una familia de judíos rabínicos de Hesse cuyo linaje se remonta al siglo XIV, su padre era un corredor de banca de los Rothschild en Fráncfort.^[2]​

Después de estudiar en Alemania, se mudó a Estados Unidos en 1865, donde cambió su nombre a Jacob Henry Schiff, y trabajó como empleado para la firma de corretaje Frank & Gans. En 1867, fundó su propia firma de corretaje, “Budge, Schiff & Co.”, que quebró en 1873.^[3]​

Después de una estancia en Europa donde hizo contacto con el mundo bancario alemán, regresó en 1875 a Estados Unidos y trabajó en el banco Kuhn, Loeb & Co, fundado en 1867 por Abraham Kuhn y Solomon Loeb (por razones estratégicas, la hija de este último había estado casada con Jacob Schiff). En 1875, Schiff asumió la dirección de Kuhn, Loeb & Company. Bajo su liderazgo, el banco creció considerablemente: participó en el financiamiento de la Union Pacific, creó la Northern Securitics Company, que aniquiló la competencia entre las empresas de ferrocarriles estadounidenses. Además ocupó otros cargos en el mundo empresarial: Director de Equitable Life Assurance Society, National City Bank of New York, Central Trust Company, Western Union Telegraph Company, Union Pacific Railroad y Bond & Mortgage Guarantee Company. Fue elegido director de Wells Fargo & Company en septiembre de 1914 para suceder a su cuñado, Paul Warburg, quien había renunciado para aceptar un nombramiento en la Junta de la Reserva Federal

Hostil al zar Nicolás II (a quien llama "el enemigo de la humanidad"^[4]​) y a la aristocracia rusa después de los pogromos sufridos por los judíos de Rusia, prestó - a través de su banco Kuhn, Loeb, and Company - 200 millones de dólares (equivalente a 5300 millones de dólares en 2023) para el gobierno japonés durante la Guerra Ruso-Japonesa (1904-1905), para ello Schiff se reunió con Takahashi Korekiyo, vicegobernador del Banco de Japón, en París en abril de 1904.^[5]​ Además, se esfuerza por organizar a partir de los pogromos rusos de 1894 el bloqueo financiero del zar.^[4]​ En 1905, Japón le otorgó la Orden del Tesoro Sagrado y, en 1907, la Orden del Sol Naciente, en la categoría de Estrella de Oro y Plata, la segunda más alta de las ocho clases de dicha Orden. Schiff fue el primer extranjero en recibir la Orden en persona del emperador Meiji en el Palacio Imperial. Al final de la guerra, Jacob Schiff junto con varios miembros prominentes de la comunidad judía estadounidense, como el Gran Maestro de la Orden de B'nai B'rith Adolf Kraus y el Secretario de Comercio y Trabajo de EE. UU. Oscar Straus - aprovecharon las negociaciones de paz^[6]​ en Portsmouth para presentar quejas al representante ruso, Serguéi Witte sobre la situación que enfrentan los judíos en Rusia.^[7]​Como cuenta en el primer volumen de sus memorias, el conde de Witte, le reprochó por exagerar la situación de los judíos en Rusia^[8]​ (Antes de la guerra, Jacob Schiff había ayudado económicamente a la comunidad judía en Rusia,^[9]​ parte del cual había sido golpeado por pogromos).