Nacido en Washington, Connecticut, Whittlesey se trasladó con sus padres en los primeros años de su juventud en Salisbury, Connecticut. Asistió a las escuelas comunes en Danbury, y estudió derecho allí. Fue admitido al Colegio de Abogados del condado de Fairfield y ejerció en Danbury y el condado de Fairfield. También ejerció en New Milford, Connecticut, en 1805. Se trasladó a Canfield, Ohio, en 1806, donde ejerció como abogado y enseñó en la escuela. Ejerció como fiscal del condado de Mahoning. Ejerció como militar y secretario privado del General William Henry Harrison y, como brigada en el Ejército del Noroeste en la guerra de 1812. Ejerció como miembro de la Cámara de Representantes de Ohio en 1820 y 1821.

Whittlesey fue elegido Miembro del Decimoctavo a través del Vigésimo Segundo, elegido como candidato del Partido Antimasónico al Vigésimo Tercero Congreso y lo eligieron como Whig al Vigésimo Cuarto y al Vigésimo Quinto Congreso y estuvo en servicio desde el 4 de marzo de 1823, al 9 de julio de 1838, cuando renunció. Fue uno de los fundadores del Partido Whig. Ocupó el cargo de Presidente de la Comisión de Reclamaciones (Vigésimo Primero a través de Veinticinco Congresos). Fue el Sexto Auditor de Hacienda del 18 de marzo de 1841, hasta el 18 de diciembre de 1843,^[1]​ cuando renunció y volvió a la práctica de la abogacía en Canfield. Fue nombrado gente general de la Asociación al Monumento a Washington en 1847. Fue nombrado por el Presidente Zachary Taylor como Primer Controlador del Tesoro y sirvió del 31 de mayo de 1849 al 26 de marzo de 1857, cuando fue destituido por el presidente James Buchanan. ^[2]​ Fue reelegido por el Presidente Abraham Lincoln 10 de abril de 1861, y sirvió hasta su muerte en Washington D. C., el 7 de enero de 1863. Fue enterrado en el cementerio de Canfield Village, Canfield, Ohio.

Era tío de William A. Whittlesey y Charles Whittlesey, y primo de Frederick Whittlesey y Thomas Tucker Whittlesey.