Hacia mediados del siglo XIX, el lugar tenía contabilizada una población de 436 habitantes.^[2]​ La localidad aparece descrita en el decimosegundo volumen del Diccionario geográfico-estadístico-histórico de España y sus posesiones de Ultramar de Pascual Madoz de la siguiente manera:

OLIVAR (el): v. con ayunt. en la prov. de Guadalajara (6 leg.) part. jud de Sacedon (2), aud. terr.de Madrid (16), c. g. de Castilla la Nueva, dióc. de Toledo (28). sit. en terreno áspero y pedregoso, con buena ventilacion y clima sano; tiene 120 casas, la consistorial, escuela de instruccion primaria, una igl. parr. (Sta. Maria) servida por un cura cuya plaza es de primer ascenso y de provision real, prévio concurso: térm.: confina con los de Alocen, Duron, Budia y Peñalver; dentro de él se encuentran algunos manantiales de buenas aguas: el terreno quebrado en su mayor parte es de regular calidad. caminos: los que dirigen á los pueblos limítrofes, todos de herradura y en mal estado. correo: se recibe y despacha en Budia. prod.: cereales, aceite, vino y algunas legumbres. ind.: la agrícola y un molino aceitero. comercio: esportacion de aceite y vino é importacion de los artículos de consumo que faltan. pobl.: 117 vec., 436 alm. cap. prod. 2.808,334 rs. imp. 168,500. contr. 9,066.

(Madoz, 1848, p. 242)

Cuenta con una población de 84 habitantes (INE 2024).

Gráfica de evolución demográfica de El Olivar[3]​ entre 1842 y 2021

Población de derecho según los censos de población del INE.     Población de hecho según los censos de población del INE.

• Madoz, Pascual (1848). «Olivar (El)». Diccionario geográfico-estadístico-histórico de España y sus posesiones de Ultramar XII. Madrid. Wikidata Q115624375. 

•   Wikimedia Commons alberga una categoría multimedia sobre El Olivar.