Ross era el segundo de cuatro hijos de Hershel Ross, un camionero, y su mujer Jeannette Levi.^[3]​ Su madre murió cuando era joven y creció en una serie de hogares de acogida. Comenzó a entrenar con pesas a los 17 años, pesando 135 libras y midiendo 5'10". El ataque japonés a Pearl Harbor lo motivó a alistarse en la Fuerza Aérea de los Estados Unidos, lo que hizo el 31 de octubre de 1942 en San Francisco, y luego estuvo destinado en Las Vegas.^[4]​ En esa época, conoció a su mujer.

En 1945, Ross ganó el concurso de Mr. America de la AAU en Los Ángeles. Después de este éxito, comenzó a aparecer en las portadas de revistas de físico populares como "Your Physique", "Iron Man (revista)|Iron Man]]", "Muscle Power" y "Health and Strength". Después de dejar el servicio en noviembre de 1945, Ross abrió un gimnasio en Alameda, California.

El 13 de marzo de 1948, Ross ganó el concurso de Mr. USA en Los Ángeles por delante del Mr. America de 1947, Steve Reeves. Ross intentó defender su título en 1949, pero quedó segundo, detrás de John Grimek. Sin embargo, terminó por delante de Steve Reeves, convirtiéndose en uno de los dos únicos hombres que vencieron a Reeves dos veces (junto con Grimek). Apareció en el cortometraje de Warner Brothers de 1949 "So You Want to Be a Muscle Man" de Joe MacDoakes con George O'Hanlon, Phyllis Coates y Willard Waterman. En 1955, Clarence intentó regresar al concurso de Mister Universe Profesional de Londres. Ganó en la categoría de alto nivel, pero fue derrotado por el título general por el canadiense Leo Robert.

En 1976, Ross abrió un gimnasio de culturismo en el centro comercial Ygnacio Plaza, 1853 Ygnacio Valley Rd, Walnut Creek, CA 94598, donde lo dirigió hasta 1981, cuando vendió el gimnasio a Win Paris, quien después de 6 meses vendió el gimnasio a uno de los propietarios de Gold's Gym, Ed Conners. Luego, el gimnasio se vendió a Fitness 19 y todavía está en funcionamiento después de más de 40 años en el mismo lugar.

Ross murió el 30 de abril de 2008, tenía 84 años.