Hijo de Don Federico de la Madriz y la Madriz, que fue embajador de España en Venezuela y de Doña Isabel Pastor y Williams.^[4]​ Si bien nunca lo negó, jamás hizo alarde de ser noble,^[5]​ por lo que se le llegó a conocer como "noble criollo" o "noble del pueblo".^[6]​

Se graduó en la Universidad de París como ingeniero.

En 1946 adquirió el Haras El Ávila, en la Alta Florida, con sus semovientes, ejemplares nativos en su totalidad, y comenzó a gustar las emociones que deparan las carreras, y ya lanzado a las mismas, quiso ampliar el campo de sus actividades y coincidió la necesidad de tener que abandonar El Ávila para trasladarse a su hacienda en La Victoria, llamada San José, la cual había heredado de su padre.^[7]​

Luego, compró el caballo llamado Hypocrite; alguien, ante su negativa rotunda de dar servicios de monta de Hypocrite, lo tildó de egoísta y respondió “No soy egoísta, sólo hago lo debido para afirmar mi personalidad”. Por ello, cuando en 1962 se anunció que 10 hijos de Hypocrite serían subastados públicamente en el Paddock Cubierto de La Rinconada, hubo sorpresa y expectación poco común, que se hizo espectacular cuando apareció el primer producto en el Ring de Ventas, era un hijo de Mi Niña, que fue adquirido en Bs. 80.000 por José Manuel Ruíz García, tras intensa pugna con Emilio Conde Jahn y Francisco Flamerich.^[8]​

El Dr. Herman Stelling se encargó del entrenamiento de sus ejemplares y luego fue Hebert Bouley, durante muchos años y el que tuvo a su cargo a Hypocrite. En 1955 contrató a Santiago Luis Ledwith, quien durante tres temporadas consecutivas le deparó el honor de ser el ganador de la Estadística de Propietarios.^[9]​

Falleció el 21 de mayo de 1965, dejando viuda a su esposa Carmen Elena, que mantuvo vivo el recuerdo de Federico al seguir sus huellas como agricultor y criador.^[10]​