Summary
En el campo de aprendizaje de máquina o Inteligencia Artificial, una red de creencia profunda (en inglés Deep Belief Network, DBN) es un modelo gráfico generativo, o alternativamente un tipo de red neuronal profunda, compuesta por múltiples capas de variables latentes ("unidades ocultas"), con conexiones entre las capas pero no entre unidades dentro de cada capa.[1]
Cuando se está entrenando un algoritmo DBN con un conjunto de ejemplos como entrada de forma no supervisada, una DBN puede aprender a reconstruir probabilísticamente estas entradas. Así, las capas actúan como detectores de características en dicha entrada.[1] Después de este paso de aprendizaje, una DBN puede ser entrenada de nuevo de forma supervisada para mejorar la etapa de clasificación.[2]
Una DBN puede ser vista como una composición de redes simples y no supervisadas tales como las máquinas de Boltzmann restringidas (RBM) donde cada capa oculta de una subred sirve como la capa visible para la siguiente.[1][3] Esto también permite que la etapa de entrenamiento no supervisado sea realmente eficiente.
Yee-Whye Teh, estudiante de Geoffrey Hinton, observó que una DBN puede ser entrenada con una estrategia voraz, capa a capa. Esto ha sido reconocido también como un logro en aprendizaje profundo.[2][4]: 6
Algoritmo de entrenamiento
editarEl algoritmo entrenamiento de una DBN procede de la siguiente manera:[2]
Sea X la matriz de entradas, considerada como un conjunto de vectores de características.
- Entrenar una RBM con X para obtener su matriz de pesos, W. Esta se usará como la matriz de pesos entre las dos capas inferiores de la red.
- Transformar X mediante la RBM para producir una nueva X'.
- Repetir este procedimiento con X ← X' para la próxima pareja de capas, hasta las dos capas superiores.
- Realizar el ajuste fino de los parámetros de esta arquitectura profunda respecto a un criterio de log-verosimilitud o a uno de entrenamiento supervisado (tras añadir maquinaria adicional de aprendizaje para convertir la representación aprendida en predicciones supervisadas).
Véase también
editarReferencias
editar- ↑ a b c Hinton, G. (2009). «Deep belief networks». Scholarpedia 4 (5): 5947. doi:10.4249/scholarpedia.5947.
- ↑ a b c Hinton, G. E.; Osindero, S.; Teh, Y. W. (2006).
- ↑ Yoshua Bengio; Pascal Lamblin; Dan Popovici; Hugh Larochelle (2007). Greedy Layer-Wise Training of Deep Networks. NIPS.
- ↑ Bengio, Y. (2009). «Learning Deep Architectures for AI». Foundations and Trends in Machine Learning 2. doi:10.1561/2200000006.
Enlaces externos
editar- "Redes de Creencia profunda". «Deep Belief Networks». Deep Learning Tutorials. Archivado desde el original el 19 de noviembre de 2016. Consultado el 21 de diciembre de 2015.
- "Ejemplo de Red de Creencia profundo". «Deep Belief Network Example». Deeplearning4j Tutorials. Archivado desde el original el 3 de octubre de 2016. Consultado el 21 de diciembre de 2015.
Datos: Q16954980
