Graff nació en Stepney en 1938 en el seno de una familia judía, hijo de Rebecca Segal (de origen rumano) y de Harry Graff (inmigrante ruso).^[1]​^[2]​^[3]​

Animando a su hijo a aprender un oficio, la madre de Graff lo colocó en un taller de joyería de Londres,^[4]​ A los 14 años, dejó la escuela para convertirse en aprendiz.^[5]​ Pronto se asoció con el joyero Schindler, reparando anillos y creando modestas piezas de joyería en una pequeña tienda. La tienda cerró, pero Graff comenzó a vender sus diseños de joyería de forma independiente a joyeros de toda Inglaterra. En 1962 ya tenía dos joyerías, incluyendo la primera en Hatton Garden.

En 1960, fundó la empresa Graff Diamonds, y en 1966, encargó al diseñador de joyas inglés Robert Thomas el diseño de una joya de diamantes para participar en el concurso de los Premios Internacionales de Diamantes De Beers. El brazalete de cinta que creó ganó el concurso. Ya en 1974 comenzó a especializarse en la venta a los nuevos ricos de Oriente Medio. En particular, suministró numerosas joyas a Hassanal Bolkiah, el 29 sultán de Brunéi, quien se convirtió en su cliente y amigo para toda la vida. En otra ocasión, el príncipe saudí Turki II bin Abdulaziz Al Saud entró en la tienda y lo compró todo, incluyendo un diamante de 14 quilates.^[6]​ Graff continuó expandiendo su empresa, con más de 35 tiendas en África, Asia, Europa, Oriente Medio y Estados Unidos.

Fue nombrado miembro de la Orden del Imperio Británico (OBE) en 2013, en reconocimiento a sus servicios a la industria de la joyería.^[7]​

Según el informe "Sunday Times Rich List" de 2020, Graff y su hijo François tenían un patrimonio neto personal combinado de 3.785 millones de libras esterlinas.^[8]​

En 2008, Graff adquirió el diamante Wittelsbach por 16,4 millones de libras, pagando un sobrecoste considerable con respecto al precio de salida de 9 millones de libras.^[9]​ Casi dos años después, reveló que había contratado a tres cortadores de diamantes para tallar de nuevo la piedra, con el fin de eliminar las astillas y mejorar la claridad, reduciendo su peso de 35,52 a 31 quilates. Esta operación ha sido comparada por los críticos con la limpieza de La Gioconda.^[10]​ Según el gemólogo Richard W. Wise, «Con una pérdida de tan solo 4,45 quilates, el diamante Wittelsbach-Graff retallado y renombrado ha pasado de un grado GIA de Fancy Deep Grayish Blue a Fancy Deep Blue. Su grado de claridad también ha sido elevado de VS2 a Internally Flawless (IF). Esto supone una mejora sustancial». Además, «el diamante retallado de Graff mantuvo el patrón original de facetas brillantes de doble estrella, conservando así el aspecto general de la piedra original».^[11]​

En 1962, Graff se casó con Anne-Marie French.^[1]​ Tras su divorcio,^[5]​ su exesposa pasó a utilizar el nombre de Anne-Marie Graff Ali. La pareja tuvo tres hijos: dos varones y una niña (François Xavier, Kristelle y Stephane). Su hijo François Xavier Graff, es el director ejecutivo del negocio familiar.^[12]​

Graff posee una participación del 60% en la empresa a través de Graff Diamonds Corp., un holding con sede en las Islas Caimán.^[13]​ El resto está a nombre de su exesposa, Anne-Marie.^[13]​ A Graff se le atribuye su participación porque controla las decisiones operativas y estratégicas de la empresa que fundó.^[13]​

La prensa británica informó que Graff mantenía una aventura con la joyera de 37 años Josephine Daniel, quien dio a luz a su hija en julio de 2009,^[13]​ y posteriormente a un segundo hijo.^[14]​

Graff tiene cinco hijos y vive en Gstaad, Suiza.^[5]​ Es coleccionista de arte, y su interés inicial fueron las pinturas del período impresionista y, posteriormente, el arte contemporáneo. Adquirió el cuadro titulado "Liz", obra de Andy Warhol, por 12,6 millones de dólares.^[15]​^[16]​

• Graff