Ruderman estudió Física en la Universidad de Columbia (terminó su Bachelor en 1945) y marchó en 1951 al Caltech. Posteriormente fue profesor en Columbia. En el curso 1972/1973 estuvo en el Institute for Advanced Study. Ruderman trabajó especialmente en el estudio de estrellas de neutrones. En una colaboración con Charles Kittel en 1954 (independientemente del trabajo de Tadao Kasuya y Kei Yosida) desarrollaron la interacción RKKY, explicando desplazamientos en los picos de resonancia durante la resonancia magnética nuclear en metales.

Fue miembro del JASON Defense Advisory Group, de la Academia Nacional de Ciencias de Estados Unidos (1971) y de la Asociación Estadounidense para el Avance de la Ciencia . Recibió el premio de Academia de las Ciencias de Nueva York.

• Charles Kittel, Walter D. Knight: Mechanics, Berkeley Physik Kurs Bd.1, McGraw Hill 1965, 1973, deutsch bei Vieweg
• Charles Kittel:  Indirect Exchange Coupling of Nuclear Magnetic Moments by Conduction Electrons. In: Physical Review. 96, Nr. 1, 1954, S. 99–102, doi:10.1103/PhysRev.96.99 (RKKY-Wechselwirkung).