Erwin Madelung creció en Bonn, Rostock y Estrasburgo, donde su padre Otto Madelung (1846-1926) fue director de la clínica de cirugía de la universidad antes de que Alsacia volviera a ser francesa en 1918. Erwin Madelung es el hermano menor del químico Walter Madelung (1879-1963) y el hermano mayor del ingeniero aeronáutico Georg Madelung (1889-1972). Su media hermana Tussa (en realidad: Auguste Eleonore) Madelung se casó en 1922 con su colega de Göttingen, el físico experimental Robert Wichard Pohl (1884-1976). Su hijo Otfried Madelung también fue profesor de física teórica (en Marburgo).

Erwin Madelung estudió física en Kiel, Zúrich y Estrasburgo y se doctoró en 1905 en Universidad de Gotinga con Hermann Theodor Simon (1870-1918). Después de viajar por todo el mundo durante casi un año, regresó a la Universidad de Göttingen y se centró principalmente en la estructura cristalina de los sólidos. En 1908 se convirtió en asistente de Eduard Riecke. En 1912 obtuvo el título de profesor en Göttingen. Durante este tiempo desarrolló la constante de Madelung para redes iónicas, que lleva su nombre y caracteriza las interacciones electrostáticas con todos los iones en el cristal para cada tipo de red cristalina. En 1918 fue nombrado profesor tras servir en el 35.º Regimiento de Pioneros durante la Primera Guerra Mundial.

Tras breves cátedras en Kiel y Münster, en 1921 fue designado para la Universidad Goethe de Frankfurt como sucesor de Max Born, donde ocupó la cátedra de física teórica hasta su jubilación en 1949. Dio clases hasta 1953. Se especializó en física atómica y mecánica cuántica, y fue durante este tiempo que desarrolló las ecuaciones de Madelung, una forma alternativa de la ecuación de Schrödinger.

En 1923 fue elegido miembro de la Academia de Ciencias de Gotinga. Desde 1942 fue miembro de la Academia de Ciencias de Heidelberg.

Constante de Madelung: es un factor de corrección que contempla las interacciones electrostáticas de los iones más alejados que la simple pareja anión-catión y depende exclusivamente de la geometría del cristal iónico.

Regla de Madelung: que establece que los orbitales atómicos se llenan en orden de números cuánticos crecientes n + l.