El OKM estaba dividido principalmente en seis secciones:

• Al frente se encontraba el Oberbefehlshaber der Marine (OBdM), el Comandante en Jefe y su estado mayor, con responsabilidades de enlace con el OKW, e incluía departamentos de planificación, técnica, ingeniería, médico, económico, investigación, propaganda y personal.^[2]​

• Führer der Kriegsmarine ("Jefe de la Marina"): en 1941 estaba ocupado por el segundo al mando de la Marina
• Chef der Stabat Kriegsmarine ("Jefe del Estado Mayor Naval")
• Führer der Unterseeboote ("Jefe del Arma Submarina")
• Gruppenkommando ("Mando de Grupos de Combate"):
  • Flotillas de Minadores
  • Flotillas de Patrulleros
  • Flotillas de Defensa Costera
  • Flotillas de Barcos Auxiliares
• Linienschiffe ("Buques de Línea Principales")^[3]​

• El Mando de Guerra Naval (Seekriegsleitung), SKL, formado el 1 de abril de 1937. Originariamente enlazado de cerca tanto con el OBdM y Marinekommandoamt, con el Comandante en Jefe (OBdM) también el jefe del SKL, con el Jefe del Marinekommandoamt doblando como Jefe de Estado Mayor del SKL. Desde el 23 de agosto de 1939 los cargos fueron fusionados y Marinekommandoamt quedó subordinado al SKL con su propio jefe y estado mayor. El SKL dejó la planificación y la ejecución de la guerra naval y dirigió la distribución de las fuerzas navales, aunque durante la guerra su autoridad quedó limitado a las zonas marítimas no domésticas,^[4]​ y cuando en febrero de 1943 cuando Dönitz fue nombrado OBdM también perdió el control sobre las operaciones de los submarinos.^[5]​ El 1 de mayo de 1944 el Jefe del Estado Mayor del SKL pasó a llamarse Chef der Seekriegsleitung. El departamento, a partir de ese momento, se encargó del mando de las unidades de la flota operando como transportes, unidades de bloqueo, cruceros auxiliares y naves de suministro.^[4]​

• El Marinekommandoamt ("Departamento de Mando Naval") se creó el 11 de enero de 1936 con la formación del OKM, pero previamente ya existía en el Marineleitung desde 1920. Subordinado al Oberbefehshaber der Marine, desde abril de 1937 el Chef des Marinekommandoamt también sirvió como Jefe del Estado Mayor del SKL. A mediados de 1939 ambas oficinas se fusionaron y el Marinekommandoamt recibió un nuevo jefe, subordinado al Jefe de Estado Mayor del SKL. Desde 1942 la oficina también fue conocida como Quartiermeisteramt, y desde el 20 de abril de 1943 el jefe se denominaba Admiralquartiermeister. El 1 de mayo de 1944 la oficina fue redesignada oficialmente como Quartiermeisteramt.^[6]​ Además de las operaciones navales, el Marinekommandoamt era responsable de personal, suministro, inteligencia, entrenamiento y defensa costera y aérea.^[2]​

• El Marinewaffenamt ("Departamento de Armamento Naval") se creó en 1934, siendo denominado Marinewaffenhauptamt ("Departamento en Jefe de Armamento Naval") en 1939, y Kriegsmarine-Rüstung ("Armamentos de la Marina") en 1944,^[7]​^[8]​^[9]​ supervisando el desarrollo, prueba y producción de armamento naval de todo tipo, así como las contra-medidas electrónicas y las comunicaciones radiofónicas.^[2]​
• El Allgemeine Marineamt ("Departamento General de Marina") fundado en enero de 1936, denominado como Allgemeine Marinehauptamt ("Departamento en Jefe General de la Marina") en noviembre de 1939, y de nuevo a Kriegsmarine-Wehr ("Defensa de la marina ") en 1944,^[10]​^[11]​^[12]​ se encargó principal de asuntos administrativos, incluyendo departamentos legal, médico, económico, construcción y exportación.^[2]​

• El Konstruktionamt ("Departamento de Construcción"), formado en 1936 fue redenominado Amt Kriegsschiffbau ("Departamento de Construcción de Barcos de Guerra") en 1939, y posteriormente el mismo año en Hauptamt Kriegsschiffbau ("Departamento en Jefe de Construcción de Barcos de guerra "), antes de volver a su nombre anterior al 1944.^[13]​^[14]​^[15]​^[16]​ Como su nombre indica, este departamento se dedicaba a la construcción de nuevos barcos, encargándose del diseño e ingeniería de barcos y submarinos, trabajando con proveedores y astilleros, conjuntamente con el Ministerio de Armamentos y Producción de Guerra.^[2]​

Los Comandantes en Jefe de la Kriegsmarine (Oberbefehlshaber der Marine, o OBdM) fueron:^[17]​

• Großadmiral Erich Raeder (1928 - 30 de enero de 1943)
• Großadmiral Karl Dönitz (30 de enero de 1943 - 30 de abril de 1945)
• Generaladmiral Hans-Georg von Friedeburg (1 - 23 de mayo de 1945)
• Generaladmiral Walter Warzecha (23 de mayo - 22 de junio de 1945)

El 7 de noviembre de 1935 Werner von Blomberg, Reichskriegsminister y Comandante en Jefe de las Fuerzas Armadas, publicó un decreto ordenando la introducción de un nuevo diseño de bandera por el Comandante en Jefe de la Kriegsmarine. La bandera consistía en un cuadrado blanco en la que aparecía una gran Cruz de Hierro en negro. Detrás había dos espadas en amarillo, atravesadas en ángulo recto.

La bandera se modificó el 1 de abril de 1939, cuando Erich Raeder fue promovido al rango de Großadmiral. La bandera continuó en uso cuando Karl Dönitz fue promovido a comandante de la Kriegsmarine el 30 de enero de 1943. En el nuevo diseño, las espadas fueron sustituidas por bastones de almirante atravesados en ángulo recto. Sobre los bastones y la cruz de hierro estaba la Wehrmachtsadler ("Águila de las Fuerzas Armadas") en oro, encarada hacia el palo. El 30 de enero de 1943 se introdujo una nueva bandera especial por Großadmiral Raeder para señalar su cargo como Admiralinspekteur de la Kriegsmarine. Era el mismo diseño que la de Comandante en Jefe de la Marina, con un borde en azul claro.

•  
  Bandera del Comandante en Jefe del 7 de noviembre de 1935 al 30 de marzo de 1939.
•  
  Bandera del Comandante en Jefe del 1 de abril de 1939 al 8 de mayo de 1945.
•  
  Bandera del Admiralinspekteur del 1 de febrero de 1943 al 8 de mayo de 1945