En marzo de 1961, el "Chicago Tribune" informó que Scalise había sido acusado de hurto relacionado con el robo de cuatro automóviles.^[1]​

En enero de 1963, el Chicago Tribune informó que Scalise y Harry Aleman, quien se convertiría en un conocido sicario del Outfit de Chicago, habían sido arrestados y acusados de agredir al hijo de un capitán de policía de Chicago.^[2]​

En marzo de 1967, el Chicago Tribune informó que Scalise tenía antecedentes de arrestos por posesión de herramientas de robo, incluyendo dispositivos para abrir cerraduras.^[3]​

En 1970 fue sentenciado a ocho años de prisión por cargos federales de robo de automóviles.^[4]​^[5]​

También sirvió como soldado para el jefe de la mafia de Chicago, Albert Tocco.^[6]​ Y en la década de 1970 presuntamente formó parte de la banda de asesinos de la mafia de Chicago conocida como el "Grupo Salvaje".^[7]​ Sin embargo, nunca fue acusado de ningún asesinato.

El 11 de septiembre de 1980, Scalise y su colega, Arthur Rachel, robaron una joya valorada en 3,6 millones de dólares a plena luz del día, en la joyería de Graff, ubicada en la concurrida zona de Knightsbridge en Londres, robando el diamante Marlborough de 45 quilates, junto con muchas otras joyas.^[8]​ Las autoridades identificaron rápidamente a los autores, señalando que uno de los ladrones, que resultó ser Scalise, tenía la mano izquierda gravemente deformada.^[4]​ El robo duró aproximadamente un minuto.^[4]​ Ambos fueron arrestados al salir de su vuelo de regreso a casa, en el Aeropuerto Internacional O'Hare de Chicago.^[4]​

Antes y durante el robo, Scalise y Rachel no tomaron medidas para ocultar sus identidades, y Rachel alquiló el coche utilizado en la fuga a su nombre. Durante su estancia en Londres, los hombres se alojaron en el Hotel Royal Mount.

Scalise pasó casi tres años después bajo custodia federal en EE. UU., luchando contra la extradición. Pero en julio de 1983 tanto Scalise como Rachel fueron entregados a las autoridades británicas.^[4]​

En agosto de 1984, Scalise fue condenado a 16 años en una prisión inglesa (en la Isla de Wight) por el robo.^[9]​

En septiembre de 1987, Scalise y Rachel demandaron al Fiscal General de los Estados Unidos, Edwin Meese, alegando que había actuado de forma "caprichosa y arbitraria" al negarles la posibilidad de cumplir parte de sus condenas en los Estados Unidos.^[10]​

En 1988, mientras aún se encontraba encarcelado en Inglaterra, Scalise fue entrevistado por agentes del FBI en busca de información sobre posibles cuerpos enterrados en un campo desierto al este del Laboratorio Nacional Argonne, y a solo 50 metros de una casa donde Scalise había vivido con una novia desde 1974 hasta 1980.^[11]​^[12]​^[13]​

En mayo de 1989, se informó que un sicario del Outfit de Chicago, quien en su momento fue cercano a Scalise, había declarado a los investigadores del FBI que este había enviado por correo el diamante de Marlborough a su hermana en la ciudad de Nueva York inmediatamente después del robo de 1980.^[14]​

El diamante de Marlborough nunca fue recuperado. Un taxista de Londres, Paul Bryk, declaró a las autoridades que Scalise y Rachel le habían pedido que enviara un paquete a una dirección de Nueva York, un paquete que, según las autoridades, contenía el diamante.

Scalise fue liberado de prisión alrededor de la Navidad de 1992, tras cumplir más de 12 años en prisión.^[15]​ En ese momento, se mudó a la casa de su padre en el barrio de Bridgeport de Chicago.^[15]​

En enero de 1994, fue arrestado y acusado de posesión de herramientas de robo.^[16]​

En julio de 1998, Scalise fue acusado formalmente junto con otras cuatro personas de conspiración para traficar cocaína tras una operación encubierta del gobierno.^[17]​ Fue acusado de intentar comprar 20 kilogramos de cocaína a un informante federal en Los Ángeles. En mayo de 1999, Scalise se declaró culpable de los cargos relacionados con las drogas y acordó con la fiscalía una pena de nueve años de prisión.^[18]​ El 1 de septiembre de 1999 fue condenado formalmente a nueve años de prisión. Las autoridades habían declarado que Scalise cooperó con ellos en otras investigaciones sobre drogas y que había sido el principal responsable de entregar dinero para comprar cocaína y distribuirla en el área de Chicago.^[19]​

En 2007, investigadores federales declararon públicamente que creían que Scalise asesinó al mafioso William Dauber y a su esposa, Charlotte, en el Condado de Will. Sin embargo, Scalise nunca ha sido acusado por ese asesinato, y una fuente declaró al Chicago Sun-Times que su coartada era que se encontraba en una audiencia judicial en el momento de los asesinatos.^[20]​

Scalise colaboró como asesor técnico para ayudar en la filmación de secuencias en prisión para la película "Enemigos públicos", filmada en Chicago, y que trataba sobre el prolífico ladrón de bancos John Dillinger.^[21]​

En abril de 2010, las autoridades federales acusaron formalmente a Scalise y a dos colegas de toda la vida, Arthur Rachel y Robert Pullia, de crimen organizado.

Se presentaron cargos contra el trío, ya que se alegaba que habían elaborado extensos planes para robos y allanamientos de morada. Entre los atracos que los tres habían planeado, pero nunca llevado a cabo, se encontraban el robo de un vehículo blindado en La Grange (Illinois) y el allanamiento de la casa, que parecía una fortaleza, en el barrio de Bridgeport de Chicago, propiedad del difunto líder del Outfit de Chicago, Angelo J. LaPietra.^[22]​

En enero de 2012, Scalise llegó a un acuerdo con la fiscalía federal, declarándose culpable el 18 de enero de 2012 de crimen organizado y de otros delitos.^[23]​ El acuerdo de culpabilidad se produjo cuando el FBI publicó pruebas de numerosas grabaciones secretas de Scalise y sus colegas planeando sus crímenes. Supuestamente, Scalise se jactó en las grabaciones de que él, Rachel y Pullia eran demasiado mayores para ser reconocidos y que la policía estaría "buscando a un joven. Pero hoy no hay policías que nos conozcan".^[24]​ Scalise también estuvo implicado en una carta que escribió al exjefe de detectives corrupto William Hanhardt, del Departamento de Policía de Chicago, quien había salido recientemente de una prisión federal, y que las autoridades habían interceptado. En esa carta, Scalise escribió que "todos en el tribunal te consideran culpable y que los acusados a menudo olvidan que cometieron el delito. La única solución es convertir el asunto en algo más para engañar al jurado".^[25]​

A la salida del tribunal, Scalise declaró al Chicago Tribune (John Kass) que estaba escribiendo un libro sobre sus hazañas y explicó que se declaró culpable aunque creía que podría ganar "porque a veces hay que ser realista".^[24]​^[26]​ También le dijo a Kass que "habría sido un juicio muy interesante".^[27]​

En cuanto al diamante de Marlborough, Scalise habló con los periodistas fuera de la sala del tribunal sobre el asunto, respondiendo a una pregunta sobre si alguien podría recuperar la gema. "Si Lloyd's (de Londres) quisiera pagar lo suficiente, tal vez podría", dijo Scalise a la prensa, refiriéndose a la compañía de seguros que cubrió la pérdida del diamante. "Tendrán que esperar a que se publique el libro".^[27]​

El 29 de agosto de 2012, el juez federal de distrito Harry Leinenweber condenó a Scalise a 106 meses de prisión federal.^[27]​ "Sin duda, fue una vida desperdiciada", dijo Leinenweber a Scalise, quien se negó a declarar ante el tribunal. "Es un hombre al que le dieron mucho y sin duda lo desperdició".

La fecha de liberación programada de Scalise era el 28 de mayo de 2019, pero fue puesto en libertad en un centro de reinserción social en el área de Chicago en febrero de 2019.^[28]​

El padre de Scalise, Louis, era un empleado jubilado del distrito de Chicago Park.^[29]​

Scalise vive actualmente en Clarendon Hills,^[30]​ donde reside con su pareja de toda la vida, Linda Pizza.^[31]​

Tiene la mano izquierda deformada, a la que le faltan cuatro dedos.

• Joseph Scalise en Internet Movie Database (en inglés). consultado el 27 de marzo de 2015