Brown fue hijo de John Brown y Margaret Leys. Se trasladó como funcionario al aire libre (en escocés ghillie o ayudante), al Castillo de Balmoral, que la reina Victoria y el príncipe Alberto compraron en 1853.

Era apreciado por muchos (incluyendo a la reina) por su competencia y compañerismo, y su figura se convierte en motivo de controversia, por su influencia y su trato cercano e informal con la monarca. La naturaleza exacta de su relación con Victoria fue objeto de gran especulación por sus contemporáneos, y sigue siendo controvertida hoy en día. El caso es que Brown murió en 1883 y, para consternación de su secretario privado, Henry Ponsonby, Victoria comenzó a escribir una elogiosa biografía de su antiguo sirviente. Ponsonby y Randall Davidson, deán de Windsor, que leyeron los borradores, aconsejaron a Victoria no publicarlos porque sería alimentar los rumores de una relación romántica y el manuscrito fue destruido.

El hijo de Victoria, el rey Eduardo VII, mandó quemar toda la correspondencia,^[4]​^[5]​ esto mismo sucedió con la correspondencia entre Victoria y Abdul Karim

En 1997 se estrenó la película Su majestad Mrs. Brown, donde Billy Connolly interpreta a Brown y Judi Dench a la reina.

•   Wikimedia Commons alberga una categoría multimedia sobre John Brown.