Hija de inmigrantes judíos, comenzó a actuar al escenario de muy pequeña. Después de trasladarse a Hollywood con su madre, que trabajaba en la radio y en el doblaje en dibujos animados. A los 16 años cayó en el mundo de la comedia y el teatro musical con el nombre de Bernice Kay.

En la década de los 40 y 50, apareció en diferentes películas hasta que en 1959 ganó una nominación al Óscar a la mejor actriz de reparto por su actuación en Fugitivos.^[3]​

Después se centró en la televisión y se retiró de los escenarios en 1980.^[4]​

Se casó con Alan Gray en 1945; tuvieron una hija, Cathy Gray, pero el matrimonio acabó dos años después.^[5]​ Williams se casó en segundas nupcias con John Drew Barrymore, el padre de Drew Barrymore en 1952. Un matrimonio convulso y que acabó en 1959. Su hijo, John Blyth Barrymore, también es actor. Su tercer marido fue el empresario Asher Dann y permanecieron juntos hasta la muerte de éste en 2018.^[6]​

• La ley del oeste (Wide Open Town), de Lesley Selander (1941)
• Girls' Town, de Victor Halperin (1942)
• Happy Land, de Irving Pichel (1943)
• Sweet and Low-Down, de Archie Mayo (1944)
• In the Meantime, Darling, de Otto Preminger (1944)
• Laura, de Otto Preminger (1944)
• Something for the Boys, de Lewis Seiler (1944)
• Don Juan Quilligan, de Frank Tuttle (1945)
• The Spider, de Robert D. Webb (1945)
• Boomerang!, de Elia Kazan (1947)
• Niñera moderna (Sitting Pretty), de Walter Lang (1948)
• Sed de dominio (The Saxon Charm), de Claude Binyon (1948)
• Llamad a cualquier puerta (Knock on Any Door), de Nicholas Ray (1949)
• Monte Carlo Baby, de Jean Boyer y Lester Fuller (1951)
• The Girl Next Door, de Richard Sale (1953)
• El robo del diamante azul (The Great Diamond Robbery), de Robert Z. Leonard (1954)
• ¡Viva Las Vegas!, de Roy Rowland (1956)
• Para ella un solo hombre (The Helen Morgan Story), de Michael Curtiz (1957)
• Fugitivos (The Defiant Ones), de Stanley Kramer (1958)
• Nunca robes cosas pequeñas (Never Steal Anything Small), de Charles Lederer (1959)
• Solo contra el hampa (The Man from the Diners' Club), de Frank Tashlin (1963)
• Esposas de médicos (Doctors' Wives), de Frank Borzage (1971)
• El desafío del búfalo blanco (The White Buffalo), de J. Lee Thompson (1977)
• De espaldas a la justicia (The One Man Jury), de Charles Martin (1978)

Premios Óscar