Se conoce la existencia de la localidad en documentos desde 1147, cuando formaba parte del principado de Chernígov. En el siglo XV, cuando el área se incorporó al Gran Ducado de Lituania, Kromy aparece en documentos como una ciudad gobernada por un kniaz, siendo la familia noble Kromy una rama de los antiguos príncipes de Chernígov. En 1595 se construyó aquí una fortaleza para defenderse de los ataques de los tártaros de Crimea. Entre 1605 y 1608, durante la Época de la Inestabilidad, la zona de Kromy fue un punto estratégico por su ubicación en la ruta que unía Severia con Moscú: aquí resistieron un asedio las tropas del impostor Dimitri I, después hubo una batalla en la que las tropas de Iván Bolótnikov derrotaron a las de Basilio IV, y por último fue el lugar donde el impostor Dimitri II concentró a sus seguidores para dirigirse hacia Moscú.^[3]​^[4]​^[5]​

En 1778, la ciudad pasó a ser sede de su propio uyezd, que desde 1796 quedó integrado en la gobernación de Oriol. En el siglo XIX fue una ciudad pequeña, de entre tres mil y seis mil habitantes, pero quedó reducida a poco más de dos mil habitantes tras la guerra civil rusa. Como consecuencia de ello, la Unión Soviética le retiró en 1924 el estatus de capital distrital, pasando a ser un simple pueblo (seló). Sin embargo, cuatro años más tarde recuperó el estatus de capital distrital, al establecerse en el pueblo la sede de un raión de la nueva óblast de Chernozem Central. En las décadas siguientes creció notablemente por su ubicación en la carretera de Moscú a Járkov. En 1957 adoptó el estatus de asentamiento de tipo urbano.^[6]​^[7]​^[8]​