Sir William Jones compró la propiedad en 1676. Deseaba una casa de campo acorde con su estatus social, y recurrió a Robert Hooke (el destacado científico que además era uno de los arquitectos más notables de la época), al que conocía desde que había supervisado la construcción de la casa de Jones en Bloomsbury.^[2]​ Hooke visitó a Jones al menos cinco veces en 1681, probablemente para mostrarle sus diseños de Ramsbury Manor. La construcción de la casa probablemente empezó en 1681, pero estaba todavía sin acabar cuando Sir William murió en mayo de 1682. La estructura principal se completó en 1683, y los trabajos en el interior del edificio continuaron hasta 1686. La mansión es un ejemplo excelente del estilo arquitectónico de casa de campo propio de Hooke, ennoblecido con los mejores estándares de construcción de aquella época.^[3]​

Entre sus residentes notables figuran Sir Francis Burdett, un político Whig radical, y su hija Angela Burdett-Coutts (1814-1906), la mujer más rica de Inglaterra en su tiempo.

En 1950, la última locomotora de vapor de la Clase GWR Manor construida recibió el nombre de Ramsbury Manor.

La casa y la finca fueron compradas por el industrial William Rootes en 1958.^[4]​ Después de su muerte en diciembre de 1964, la propiedad fue adquirida por el magnate inmobiliario Harry Hyams, convirtiéndose en su residencia habitual hasta su muerte en 2015. Hyams compró la casa por 650.000 libras esterlinas, siendo calificada en el Libro Guinness de los récords de 1966 como "la casa más cara de Gran Bretaña".^[5]​

El 1 de febrero de 2006 la mansión fue el escenario de un importante robo cometido por la banda de Johnson.^[6]​ Los ladrones fueron detenidos, juzgados y condenados; el fiscal Paul Reid declaró que: "El asalto ha sido descrito como el robo en un domicilio particular más cuantioso nunca cometido en este país. El valor de la colección sustraída se considera incalculable. Es muy difícil tasar objetos antiguos –algunos de ellos muy preciosos y muy raros– pero suponen decenas de millones de libras". En agosto de 2008 los miembros de la banda fueron condenados con largas penas de prisión.^[7]​^[8]​^[9]​^[10]​

En su testamento, Hyams donó la casa y sus colecciones de coches y arte a la nación, a través de la Fundación Capricorn, en un testamento estimado en un valor de 450 millones de libras.^[11]​^[12]​