Jaime se ganó el apodo de 'Loco' cuando, siendo Soldado raso en el ejército , se destacó por su labor durante el Bogotazo, convirtiéndose en Cabo segundo ^[1]​ y luego esto le valió una promoción al rango de Dragoneante .^[2]​ Sin embargo, también es conocido como el 'Pantalonudo', apodo que surgió durante un acto público del ejército en 1955, cuando desfilaba por la pista atlética del estadio de Ibagué. En ese evento, el animador, el periodista Carlos Arturo Rueda C., hizo una broma sobre su forma de vestir para animar a la tribuna, lo que originó el sobrenombre.^[3]​

Después de su paso por el ejército fue alcalde encargado de su natal pueblo Gómez Plata, Antioquia.^[3]​ También fue alcalde encargado de Bolívar, Santander en 1960, en ese mismo año se desvinculo formalmente del ejercito.^[2]​

En 1954 se convierte en el fundador y presidente de la Liga de Futbol de las Fuerzas Armadas. Paralelamente, tiene su primera experiencia en los banquillos técnicos siendo asistente del húngaro Béla Sárosi a quien habían invitado para un torneo amistoso, precisamente para inaugurar dicha liga.^[3]​

Para 1955-56 dirige en propiedad a las Divisiones menores de Independiente Santa Fe conocida como los "Monaguillos", ganando su primer título.^[3]​

A finales de la década de los años 50, y de la mano de su amigo, el entrenador Gabriel Ochoa Uribe —a quien conocía desde la infancia, cuando ambos eran considerados los mejores jinetes juveniles de Antioquia—, llegó a Millonarios, dando un vuelco definitivo a su vida. ^[3]​^[2]​

Asimismo, tuvo un importante paso por la dirección de las divisiones menores de Millonarios Fútbol Club desde el año 1959 por invitación de Gabriel Ochoa Uribe, descubriendo futbolistas como: Otoniel Quintana, Carlos Emilio "Pachame" Rendón Willington Ortiz, Eladio Vásquez, Alejandro Brand, Marino Klinger, Gabriel Hernández, Onofre Camargo, Carlos Puche González, Humberto Suarez, Nicolas Lobatón, Manolo Mejía, Jorge Gallego, Edison Angulo, Carlos Rivera, Marcial García, los hermanos Hernando, Gonzalo y Roberto Guzmán, Enrique Florián, Héctor Javier Céspedes, Edgar "el violento" Díaz Granados, Juanito Moreno Hurtado José Ignacio Muñoz, Jaime Morón, Fernando "Bombillo" Castro, Víctor Cañón, Hernán Villa, Euclides "Tizon" González, Senén Mosquera, Alonso "Pocillo" López, Cerveleón Cuesta, Germán Gutiérrez de Piñeres, José Eugenio "Cheché" Hernández, John Jairo "Pocillo" Díaz, Eduardo Pimentel, Eddy Villarraga, entre otros, hasta su salida del club en 1988.^[4]​ De acuerdo con el historiador deportivo Guillermo Ruiz Bonilla, Arroyave descubrió a poco más de 300 futbolistas de los cuales 108 jugadores se lograron consolidar en el fútbol profesional y 17 trascendieron notablemente.^[2]​

En cuatro ocasiones estuvo encargado como técnico del plantel profesional de Millonarios Fútbol Club, una en el año 1970, dos veces en 1978 y una en 1981.^[5]​

La anécdota: cuando recibí al equipo profesional de Millonarios contra el Quindío, yo muerto del miedo para hacer la charla técnica, sonó una radio. Un tipo mamagallista que había, Armando "la coneja" Acosta, les decía: “Miren, muchachos, apaguén el radio que voy a empezar la charla”. Y el radio seguía sonando y sonando. Le digo: “Mire, Coneja, o se sale o apaga el radio”. Me dice: “Mire, don Jaime, usted lo tiene en el bolsillo”. Y sí, lo tenía yo. Eso es inaudito, de los nervios que tenía (risas). Arroyave en entrevista en el Café Caracol con Hernán Peláez en 2009.^[2]​

En total obtuvo 74 títulos en categorías menores; entre los que destacan los de la Liga de fútbol de Bogotá y el Hexagonal del Olaya.^[2]​

Peláez: ¿Agradecido con el fútbol?. Arroyave: Pues claro, ¿quién era yo? todos mis agradecimientos a más de 2.500 jugadores que me vieron a mí y yo los vi a ellos. (......) La verdad, a Millonarios, a mí no me ha pagado bien; es porque la gente nueva no tiene la culpa de que no sepa quiénes fueron, pero yo quiero a Millonarios porque ahí fue donde me hice a conocer y me formé. (......) En Millonarios aprendí algo, y mucho, y le debo mucho a todos, en especial a Gabriel Ochoa Uribe y sus presidentes. (......) A Millonarios le digo algo que esta en el estadio de Peñarol: "Serás eterno como el tiempo y florecerás en cada primavera". Arroyave en entrevista en el Café Caracol con Hernán Peláez en 2009.^[2]​

En 2011 se convirtió en accionista minoritario de Millonarios evitando su desaparición y posteriormente hizo parte de la junta directiva que refundo al club bajo el formato de sociedad anónima.^[6]​

En 2019, a sus 91 años de edad Arroyave fue condecorado por Millonarios en reconocimiento y agradecimiento a su trayectoria exitosa en el club.^[7]​ En 2023 volvió a ser homenajeado por el equipo embajador.

Arroyave es conocido por ser la persona que trajo y profesionalizo el deporte del fútbol de salón en Colombia siendo el primer presidente de la Federación Colombiana de Fútbol de Salón, organización que comando durante 38 años.^[8]​

• Estoy entre los 85 y la muerte: Jaime 'El Loco' Arroyave - Win Sports Archivado el 31 de diciembre de 2017 en Wayback Machine.