Se desconoce tanto el lugar como la fecha de nacimiento de Juan Clemente Caballero. Pero se sabe que madre falleció en julio de 1691 en Montehermoso, actualmente en la provincia de Cáceres. En esa misma localidad era sacerdote el hermano de Juan, Manuel Clemente Caballero, que posteriormente, el 4 de septiembre de 1691, fue nombrado capellán de la Catedral de Plasencia. También se documenta un Sebastián Clemente Caballero como seise y arpista de la Catedral durante el magisterio de Juan.^[1]​ También se sabe que se formó musicalmente en la Catedral de Plasencia como mozo de coro y seise, quizás con el maestro Juan de Torres.^[2]​

Las primeras noticias seguras que se tienen de él son del 5 de febrero de 1672, cuando el cabildo de la Catedral de Plasencia quiere cubrir la vacante del magisterio tras el fallecimiento de Gregorio de Salinas ese mismo año. Juan Clemente ejercía en ese momento el magisterio en la Catedral de Coria desde 1657 y el cabildo placentino sabía que Clemente «tiene deseo de venir a servir el magisterio, y conociendo sus buenas prendas, virtud y habilidad». Decidieron ofrecerle el cargo sin oposición por 300 ducados y 36 fanegas de trigo al año de salario.^[3]​

Fue recibido para el cargo en Plasencia el 1 de marzo y ejerció su cargo sin grandes sobresaltos durante siete años. Hubo las habituales amonestaciones del cabildo por la educación de los seises y alguna queja de un cantor que solicitaba papeles de más lucimiento. Sin embargo, por el contrario, hay numerosas noticias del esplendor musical de la capilla y de las diligencias del maestro para conseguirlo, sobre todo durante las festividades del Corpus Christi.^[3]​

Se desconoce con seguridad qué pasó, pero el 1 de diciembre de 1679 llegaba a Plasencia una carta de Vicente Pantoja, en ese momento maestro de capilla de la Catedral de Ciudad Rodrigo, que había oído que el magisterio se encontraba vacante y ofrecía enviar unos villancicos para la Navidad. El cabildo placentino le respondió que «no se sabe si el maestro asistirá o no a dicha fiesta; que si no asistiere se estará en atención a su ofrecimiento». Acto seguido, el cabildo determinó despedir al maestro Clemente «por haberse asegurado está recibido en la santa iglesia de Coria, no habiendo dado cuenta al Cabildo sin tenido la atención que debiera». El maestro Clemente les respondió por misiva «de como no estaba en determinación de irse sin dar cuenta antes al cabildo, y representa otras cosas», pero el cabildo no cambió de opinión. Se escribió a los maestros de las catedrales de Ciudad Rodrigo, el mencionado Vicente Pantoja, y Badajoz, además del maestro Juan Pacheco Montión, que en ese momento se encontraba en Madrid, pero que había sido anteriormente maestro de Coria. El de Badajoz, Miguel de Cañas, rechazó la invitación. El 27 de febrero Pacheco se encontraba ya en Plasencia y Juan Clemente, «maestro de capilla de la santa iglesia de Coria», también. El cabildo decidió realizar un examen a los dos candidatos que se habían presentado: Juan Pacheco Montión y Vicente Pantoja. Clemente ejerció de juez y, tras un duro examen, el 7 de marzo certificó la suficiencia de ambos candidatos, «poniendo en primer lugar al dicho don Juan Pacheco, por más suficiente para el ministerio». Ese mismo día se nombró a Pacheco para el cargo.^[1]​

El 17 de noviembre de 1684 Clemente se despedía de la Catedral de Coria, afirmando que había sido honrado con el magisterio de la Catedral de Córdoba. El magisterio cauriense se despidió de él, limitándose a un «[el cabildo] se alegra de su aumento y que tenga buena suerte». Al parecer el maestro debió adelantarse a la decisión del cabildo cordobés, porque el magisterio fue para Juan Pacheco Montión en diciembre de 1684. Clemente no regresaría a Coria, sino que regresó a Plasencia, cargo que quedaba vacante tras la partida de Pacheco. Sin embargo, regresaba con sueldo menor de lo que había tenido en su primer magisterio, con 250 ducados y 36 fanegas de trigo.^[3]​

No hay muchas más noticias del maestro, que en 1696 todavía tenía actividad. Probablemente falleció hacia enero de 1697, ya que en febrero de ese año el cabildo nombraba maestro de capilla interino al tenor Manuel Delgado, mientras se determinaba su sucesión, que sería para Máximo Antonio de Leprando, que también había sido su sucesor en Coria.^[1]​

Solo se ha conservado una Pasión según San Juan compuesta por Clemente en el 4.º libro de polifonía de Plasencia.^[1]​^[4]​