En 1907, su vecino y gran amigo Vicente Fiorentino, que ya tocaba el violín en pequeños conjuntos, lo instó a Juan para que se dedicara a estudiar el bandoneón, enseñándole algunas tonalidades simples por cifras. Después de mucho esforzarse consiguió aprender dos temas. Seguía estudiando pero sin atreverse a debutar en público. Lo hizo en unas romerías junto a Vicente Fiorentino (violín) y Luis Martínez (Papanova) en guitarra. Superado el trance tocaron luego en Junín y Pergamino.^[2]​

Juan Canaro debutó en 1917 como bandoneonista de la orquesta de su hermano Francisco, que actuaba por entonces en el cabaré Royal Pigall.^[3]​ Juan ya había compuesto su primer tango, Mano brava, que dedicó al bandoneonista Minotto Di Cicco^[4]​) y fue estrenado en Montevideo en 1915.

Muchos años estuvo en la formación de su famoso hermano con quien viajó a París en 1925 y a Nueva York al año siguiente. Volvió a Francia desde Norteamérica, y con su hermano Rafael Canaro se puso al frente de una orquesta con la que recorrió varios países de Europa luchando por el tango hasta el año 1931.^[3]​

Al volver a Buenos Aires hizo radio con el conjunto de su nombre, amenizando además bailes y boites. Siempre con formación propia recorrió toda América y en 1954 llegóse hasta Japón, actuando con gran éxito.^[3]​

Con su orquesta grabó en las marcas Victor, Odeon y Pampa; en ellas cantaron celebradas cancionistas como las hermanas Violeta y Lidia Desmond, María de la Fuente, Irma Flores, Dorita Verdi, Susy Leiva y los cantores Aldo Campoamor, Fernando Díaz, y Roberto Arrieta.^[5]​

Hizo varias composiciones contando por colaboradores a Juan Andrés Caruso, Jesús Fernández Blanco, Carlos Pesce, Osvaldo Sosa Cordero y Fernando Ochoa.^[6]​

Amigo íntimo de Carlos Gardel, el cantor inolvidable dejó impresos con su voz sus tangos Desengaño, El pinche, Camarada y La brisa, letras de Caruso.^[3]​