El castillo fue construido originalmente como residencia de William Lindsey (1858-1922), un prominente empresario de Boston que hizo su fortuna con un sistema patentado de cartuchos de correas del Ejército británico utilizados durante la Guerras de los Bóeres. Los planos fueron elaborados en 1904 y se terminó la construcción en 1915 a un costo de más de 500 000 dólares.^[4]​

Poco después de la terminación del edificio, la hija mayor de Lindsey se casó en la mansión, aunque ella y su esposo más tarde serían asesinados en su luna de miel, después de que el barco fue torpedeado por un submarino alemán. Lindsey desconsolada, más tarde construyó el magnífico Lindsey Leslie Memorial Chapel en la Emmanuel Episcopal Church de Newbury Street, en memoria de su hija.^[5]​