Sus padres fueron Kim Hyŏng-jik y Kang Pan-sok, y nació ocho años después de su hermano mayor, Kim Il-sung en la población de Mangyongdae.^[2]​ Cuando Kim tenía 3 años de edad su familia se trasladó al sur de Manchuria.^[3]​

Después de graduarse del departamento de economía de la Universidad Estatal de Moscú en 1945,^[4]​ donde también se interesó profundamente por la filosofía,Kim Yong-ju se unió al Partido de los Trabajadores de Corea. Su ascenso en los escalones del partido fue rápido; desde la década de 1950 hasta la de 1960 fue jefe de cuadros (1954), subdirector (1957) y finalmente director (1960) del Departamento de Organización y Orientación del PTC. Fue nombrado miembro del Comité Central del PTC en el IV Congreso del Partido en 1961. En 1966, fue ascendido a Secretario de Organización del Comité Central del PTC.^[5]​^[1]​

En principio parecía el candidato más probable para suceder a su hermano en el poder, pero una enfermedad a finales de la década de 1970 le apartó de esta posibilidad. En 1980, durante el sexto congreso del Partido de los Trabajadores, fue apartado definitivamente de la línea de sucesión de su hermano en favor de su sobrino, Kim Jong-il.^[1]​

Desde septiembre de 1998 ocupó el cargo de Vicepresidente Honorario del presidium de la Asamblea Suprema del Pueblo.