Rprop

Summary

Rprop, abreviatura de retropropagación resiliente, es una heurística de aprendizaje para redes neuronales artificiales alimentadas hacia adelante en el contexto del aprendizaje supervisado. Es un algoritmo de optimización de primer orden creado por Martin Riedmiller y Heinrich Braun en 1992.[1]

Similar a la regla de actualización de Manhattan, Rprop solo considera el signo de la derivada parcial en todos los patrones (no la magnitud) y actúa independientemente en cada "peso". Para cada peso, si hubo un cambio de signo en la derivada parcial de la función de error total en comparación con la última iteración, el valor de actualización de ese peso se multiplica por un factor η, donde η es menor que 1. Si la última iteración produjo el mismo signo, el valor de actualización se multiplica por un factor de η+, donde η+ es mayor que 1. Finalmente, cada peso se ajusta en la dirección opuesta a su derivada parcial para minimizar la función de error total. Empíricamente, η+ se establece en 1.2 y η en 0.5.[cita requerida]

Rprop puede producir incrementos o decrementos muy grandes en los pesos si los gradientes son grandes, lo que es un problema al usar mini-lotes en lugar de lotes completos. RMSprop aborda este problema manteniendo un promedio móvil de los gradientes cuadrados para cada peso y dividiendo el gradiente por la raíz cuadrada del promedio cuadrático.[cita requerida]

Rprop es un algoritmo de actualización por lotes. Junto con el algoritmo de correlación en cascada y el algoritmo de Levenberg-Marquardt, Rprop es uno de los mecanismos de actualización de pesos más rápidos.[cita requerida]

Variaciones

editar

Martin Riedmiller desarrolló tres algoritmos, todos llamados RPROP. Igel y Hüsken les asignaron nombres y agregaron una nueva variante:[2][3]

  1. RPROP+, que se define en A Direct Adaptive Method for Faster Backpropagation Learning: The RPROP Algorithm.[4]
  2. RPROP−, definido en Advanced Supervised Learning in Multi-layer Perceptrons — From Backpropagation to Adaptive Learning Algorithms. Se elimina el retroceso de RPROP+.[5]
  3. iRPROP−, definido en Rprop — Description and Implementation Details[6]​ y reinventado por Igel y Hüsken.[3]​ Esta variante es muy popular y sencilla.
  4. iRPROP+, definida en Improving the Rprop Learning Algorithm, es muy robusta y típicamente más rápida que las otras tres variantes.[2][3]

Referencias

editar
  1. Martin Riedmiller und Heinrich Braun: Rprop - A Fast Adaptive Learning Algorithm. Proceedings of the International Symposium on Computer and Information Science VII, 1992
  2. a b Christian Igel y Michael Hüsken. Improving the Rprop Learning Algorithm. Second International Symposium on Neural Computation (NC 2000), pp. 115-121, ICSC Academic Press, 2000
  3. a b c Christian Igel y Michael Hüsken. Empirical Evaluation of the Improved Rprop Learning Algorithm. Neurocomputing 50:105-123, 2003
  4. Martin Riedmiller y Heinrich Braun. A direct adaptive method for faster backpropagation learning: The Rprop algorithm. Proceedings of the IEEE International Conference on Neural Networks, 586-591, IEEE Press, 1993
  5. Martin Riedmiller. Advanced supervised learning in multi-layer perceptrons - From backpropagation to adaptive learning algorithms. Computer Standards and Interfaces 16(5), 265-278, 1994
  6. Martin Riedmiller. Rprop — Description and Implementation Details. Technical report, 1994

Enlaces externos

editar
  • Rprop Optimization Toolbox
  • Rprop training for Neural Networks in MATLAB
  •   Datos: Q1320470