Después de la escuela primaria en Kirkon koulu, Kurikka, Finlandia, Ollila asistió a la escuela secundaria en Vaasan Lyseon Lukio, Vaasa, con la ayuda de una beca en el Colegio del Mundo Unido del Atlántico, donde obtuvo sus niveles 'A'.^[5]​

Posteriormente, obtuvo una Maestría en Ciencias Políticas de la Universidad de Helsinki, una Master of Science (Economics) de la London School of Economics y una Maestría en Ciencias (Tecnología) en Ingeniería Física de la Universidad Politécnica de Helsinki.^[6]​

En 2003, fue elegido miembro honorario de la London School of Economics, y se le otorgó la membresía honoraria del Institute of Electrical and Electronics Engineers (IEEE). Ollila también ha recibido doctorados honorarios de la Universidad de Helsinki, Escuela de Economía de Londres, Universidad Politécnica de Helsinki y la Universidad de Vaasa.^[7]​^[8]​^[9]​^[10]​

Ollila fue activo en política estudiantil, por ejemplo, como presidente de la asociación finlandesa de uniones estudiantiles en 1973 y 1974, y todavía hoy participa en el debate político finlandés. Como conscripto en las Fuerzas Armadas de Finlandia, recibió entrenamiento de oficial de reserva. Mientras asistía a la Escuela de Oficiales de Reserva finlandesa, fue el presidente de su curso de oficiales de reserva.

Antes de unirse a Nokia en 1985, Ollila trabajó durante ocho años en banca corporativa en las oficinas de Citibank en Londres y Helsinki, y cuando se unió a Nokia sus tareas involucraban acuerdos de inversión internacional. Un año después, en 1986, Ollila era jefe de finanzas durante la renovación de Nokia bajo el entonces CEO Kari Kairamo. Fue nombrado jefe de la sección de teléfonos móviles en 1990, y CEO dos años después en 1992. Cuando Ollila asumió el poder, la compañía había sufrido disputas internas y una crisis financiera durante varios años.

Como CEO de Nokia, lideró la estrategia que reestructuró el antiguo conglomerado industrial en una de las principales compañías en los mercados de teléfonos móviles e infraestructura de telecomunicaciones.^[11]​

En 1999, Ollila consideró participar en las elecciones presidenciales finlandesas, tras una solicitud de Sauli Niinistö,^[12]​ un miembro del Partido de la Coalición Nacional, quien en ese momento era ministro de finanzas finlandés y que 12 años después se convirtió en presidente de Finlandia. Esto a pesar de que Ollila pertenece a un partido diferente, el Partido del Centro Finlandés, con el cual ha estado involucrado desde sus actividades en la política estudiantil en la Universidad de Helsinki.^[13]​

Ollila fue el CEO de Nokia desde 1999 hasta 2006. Fue sucedido como CEO por Olli-Pekka Kallasvuo. El 15 de septiembre de 2010, anunció que tenía la intención de dejar el cargo de presidente en 2012^[4]​ y lo hizo el 3 de mayo de 2012.^[14]​ Fue reemplazado por Risto Siilasmaa.

Ollila dijo en una entrevista de febrero de 2011 con el locutor finlandés Yle que apoyaba la alianza Nokia-Microsoft iniciada por el CEO, Stephen Elop, y predijo que las fortunas de la compañía se recuperarían fuertemente.^[15]​

En un libro publicado en septiembre de 2018 por el presidente de Nokia, Risto Siilasmaa, y presentado al Helsingin Sanomat, el estilo de liderazgo de Ollila fue fuertemente criticado y Siilasmaa reveló que los dos se distanciaron en 2010 (Siilasmaa fue miembro de la junta de Nokia desde 2008). Siilasmaa también afirma que cree que Ollila jugó un papel en la caída de la compañía. En respuesta, Ollila afirmó que esto fue exagerado y no era cierto.^[16]​^[17]​

Ollila fue presidente del Instituto de Investigación de la Economía Finlandesa (ETLA), el centro de estudios económicos y sociales más prestigioso de Finlandia. Entre 2005 y 2009, fue presidente de la European Round Table of Industrialists (ERT).

Ollila es la primera persona no holandesa o no británica en ser presidente de Shell. También es el primer presidente elegido para esta corporación multinacional en su nueva forma corporativa de Royal Dutch Shell. En octubre de 2014, se anunció que sería sucedido en mayo de 2015 por el estadounidense Charles O. Holliday.^[18]​

Ollila ha sido miembro de la junta en varias compañías, incluyendo Ford Motor Company (2000–2008).

Ollila fue presidente de la empresa finlandesa de minería y metalurgia Outokumpu desde 2013 hasta 2018.

Ollila es miembro del comité directivo del Bilderberg Group.^[19]​ Participó en la conferencia de 1994 y en todas las conferencias de Bilderberg entre 1997 y 2014.

Shell terminó el desarrollo de energía eólica durante el período de Ollila.^[20]​ La compañía petrolera insiste en que no puede hacer que las cifras justifiquen los parques eólicos en alta mar.^[21]​

Ollila publicó sus memorias en finlandés en octubre de 2013. Ollila había contratado a cuatro guardias de seguridad para su evento de lanzamiento del libro en Helsinki en octubre de 2013. La policía de Helsinki dice que los manifestantes o presuntos activistas fueron expulsados del lanzamiento del libro.^[22]​ La traducción al inglés de sus memorias fue publicada en 2016.^[23]​

• Comandante Honorario de la División Civil del Más Excelente Orden del Imperio Británico (CBE) (2008)^[24]​^[25]​
• Gran Cruz del Orden del León de Finlandia (2005)
• Ciudadanía Honoraria de Pekín (2002), China
• Cruz de Comandante de la Orden del Mérito de la República de Polonia (1999)
• Cruz de Comandante de la Orden del Mérito de la República Federal de Alemania (1997)
• Comandante, 1ª Clase de la Orden de la Rosa Blanca de Finlandia (1996)
• Cruz de Oficial de la Orden del Mérito de la República de Hungría (1996)
• Comandante de la Orden de Orange-Nassau (1995)
• Orden de la Estrella Blanca Estonia (1995)

Georg Ehrnrooth y Ollila fueron multados por inversiones en Luxemburgo en 2014. Ollila fue multado con 3,000 euros por la Autoridad de Supervisión Financiera de Finlandia (Fiva) por no haber realizado una divulgación oportuna de que posee una empresa de inversiones llamada Kestrel SA. La empresa tiene sede en Luxemburgo y valía 8.2 millones de euros a finales de 2012. Ollila dijo que había olvidado erróneamente divulgar la empresa de inversiones y que no había utilizado la empresa para poseer acciones en compañías donde ha ocupado puestos ejecutivos.^[26]​