Todo el codigo presentado ha sido desarrollado siguiendo lo presentado en el curso de Aprendizaje Automático El curso mencionado es una herramienta invaluable para cualquiera interesado en el aprendizaje de máquina. Las definiciones de los métodos se obtuvieron de las páginas mencionadas en cada sección.
Los ejemplos únicamente detallan el funcionamiento de los métodos expuestos en problemas de mínimizacion. La razón es porque el contenido de este repositorio va orientado más hacia el desarrollo de redes neuronales artificiales. En estos sistemas los optimizadores se utilizan para reducir el error del modelo a la hora de hacer predicciones (inferencia).
Imagen de la ecuacion la imagen fue creada utilizando word Definicion con cita
El ejemplo [Descenso por gradiente 2D](https://github.com/uli-wizrd/Gradient_Methods/blob/master/GD_CN2.py)
Trata sobre del uso de descenso por gradiente de vanilla en la optimizacion de una funcion multivariable convexa.
El ejemplo Descenso por gradiente 2D Trata sobre el descenso por gradiente en una funcion que vive en un espacio bidimensional (cuando solo necesitas dos variables para describir tu sistema).
El ejemplo Descenso por gradiente 2D Trata sobre el uso del descenso por gradiente en una funcion que vive en un espacio tridimensional (Cada eje corresponde a una variable de interes)
El ejemplo trata sobre el uso del descenso por gradiente estocastico en funciones convexas y no convexas
El tercero es un ejemplo del metodo empleado en la optimizacion de una funcion no convexa
El cuarto es un ejemplo del metodo empleado en la optimizacion de una funcion no convexa
El Quinto es un ejemplo de la aplicacion del optimizador ADAM presentado en [cira] para una funcion no convexa
El ejemplo Descenso por gradiente 2D. Es una simulacion de como se comparan el descenso por gradiente, el descenso por gradiente estocastico, x, y y ADAM. La tarea fue encontrar el minimo de la funcion 3D (funcion). La funcion de la cual se quiere encontrar el minimo en este caso se conoce como funcion de perdida (loss function). Esta funcion nos reporta el error de nuestro sistema a la hora de hacer predicciones. Tambien se le conoce a esta funcion como superficie de perdida (Loss surface).