20191.DL Fundamentos de Deep Learning

Calendario

W01  5feb      Intro.Class                        Intro.ML   
W02 12feb      U1.Intro.NN                        Lab 1.1
W03 19feb      U2.NN.Archs.TrainAlgs.Reg          Lab 2.1
W04 26feb      U2.NN.Initz.Batch.Relu.Vanish      Lab 2.2
W05  5mar      Labs                               Parcial         10Mar Deadline Lab1 Lab2
W06 12mar      U3.CNN.ConvOp.Archs                Lab 3.1
W07 19mar      U3.CNN.Classf.Detectn.Segmtn       Lab 3.2         31Mar Deadline U3.05 3.06 3.07 3.10 3.11
W08 26mar      U3.CNN.Transfer Learning           Lab 3.3         7abr Deadline U3.15 3.16 3.17
W09  2abr      U3.Proyecto                        U3.Proyecto
W10  9abr      U3.Proyecto                        U3.Proyecto     21Abr Deadline U3.Proyecto
W11 23abr      U4.RNN.SeqModels.BProp in Time     Lab 4.1         25Abr presentación proyectos seleccionados
W12 30abr      U4.RNN.LSTM.Archs.Seq2Seq          Lab 4.2
W13  7may      U4.RNN.CNN-LSTM                    Lab 4.3         12May Deadline Lab4
W14 14may      U4.Proyecto                        U4.Proyecto
W15 21may      U4.Proyecto                        U4.Proyecto
W16 28may                                                         01Jul Deadline U4.Proyecto

Evaluación

 10% Parcial
 10% Lab1 + Lab 2
 15% Lab 3
 15% Lab 4
 25% U3.Proyecto
 25% U4.Proyecto

Proyectos

Para el proyecto U3 (redes convolucionales) y U4 (redes recurrentes) tendrás que:

escoger un dataset, de un tema de tu interés, de tu investigación, etc.
plantear una tarea de aprendizaje junto con una métrica de evaluación (p.ej. clasificación, detección, etc.)
plantear una estrategia de resolución (preprocesado, arquitectura de red, trasnfer learning, data augmentation, feature learning, etc.)
implementar el flujo de trabajo experimental

Entrega

Tu entrega habrá de ser un repositorio github con uno o varios notebooks donde proveas evidencia del trabajo realizado, incluyendo experimentos pruebas, etc.

Para realizar tu entrega, crea un documento llamado U3.Proyecto o U4.Proyecto en el Google drive compartido, que contenga el enlace a tu repositorio github. Si llamas distinto a este documento no será tenido en cuenta.

Criterios de evaluación

25% Reproducibilidad: Tus notebooks han de ser 100% ejecutables sin errores, desde la descarga de datos hasta la obtención de tus resultados. Si lo consideras necesario crea un fichero descargable con tus datos y publícalo en algún lado como están en los notebooks del curso. No incluyas los datos en el repositorio.
25% Claridad: Explica bien tu tarea (en los mismos notebooks), la métrica de evaluación que ests usando y el ciclo experimental que hiciste (probé tales arquitecturas de red, el modelo final tiene tal arquitectura porque las anteriores sufrían de overfitting, etc.)
25% Repositorio: Tu repositorio ha de estar ordenado, con una estructura clara y con un README.md que indique qué notebooks ejecutar con tu resultado final, qué notebooks contienen los experimentos previos que hiciste, etc.
25% Compleción: Tu tarea ha de utilizar las técnicas vistas en clase y ha de demostrar un flujo experimental (prueba de varias arquitecturas, preprocesados, etc.). Igualmente has de incluir una interpretación de tus resultados.

Presentación

Si se te requiere tendrás que realizar una breve presentación de tu proyecto, teniendo en cuenta que:

la presentacin ha de durar 10 minutos. Esto es un límite estricto. Al cabo de ese tiempo se cortará la presentación esté en el punto que esté.
Tendrás que presentar tres aspectos: 1) qué tarea se resolvió, 2) qué experimentos se hicieron, 3) tus conclusiones e interpretación de los resultados.
La calificación será un factor entre 0.5 y 1.5, que se multiplicará con la calificación obtenida a la entrega para obtener la calificación final.

Registro y materiales

Lecturas recomendadas

Hastie, Tibshirani, Friedman, The Elements of Statistical Learning, Springer-Verlag website pdf
Goodfellow, Bengio, Courville, Deep Learning, MIT Press website pdf
Bengio, Learning Deep Architectures for AI, Foundations and Trends in Machine Learning, Vol. 2, No. 1 (2009) 1–127, pdf

Name		Name	Last commit message	Last commit date
Latest commit History 98 Commits
Images		Images
data		data
libraries		libraries
models		models
.directory		.directory
None0000000.png		None0000000.png
README.md		README.md
U0.1 - DL Overview.ipynb		U0.1 - DL Overview.ipynb
U0.2 - Modelos derivados de los datos.ipynb		U0.2 - Modelos derivados de los datos.ipynb
U0.3 - Como se disena un algoritmo de Machine Learning.ipynb		U0.3 - Como se disena un algoritmo de Machine Learning.ipynb
U1.1 - Introduction to Artificial Neural Networks.ipynb		U1.1 - Introduction to Artificial Neural Networks.ipynb
U1.2 - MLP with Keras.ipynb		U1.2 - MLP with Keras.ipynb
U1.3 - [TALLER] Customized loss functions and regularization with Keras.ipynb		U1.3 - [TALLER] Customized loss functions and regularization with Keras.ipynb
U2.01 - Network Architectures - Autoencoders.ipynb		U2.01 - Network Architectures - Autoencoders.ipynb
U2.02 - Network Architectures - Multimodal information.ipynb		U2.02 - Network Architectures - Multimodal information.ipynb
U2.03 - Network Architectures - Restricted Boltzman Machines.ipynb		U2.03 - Network Architectures - Restricted Boltzman Machines.ipynb
U2.04 - [TALLER] - Autoencoders.ipynb		U2.04 - [TALLER] - Autoencoders.ipynb
U2.05 - [TALLER] - Multimodal architectures.ipynb		U2.05 - [TALLER] - Multimodal architectures.ipynb
U2.06 - [TALLER] - Restricted Boltzman Machines.ipynb		U2.06 - [TALLER] - Restricted Boltzman Machines.ipynb
U2.07 - Vanishing gradients.ipynb		U2.07 - Vanishing gradients.ipynb
U2.08 - Weights initialization.ipynb		U2.08 - Weights initialization.ipynb
U2.09 - [TALLER] - Vanishing gradients.ipynb		U2.09 - [TALLER] - Vanishing gradients.ipynb
U2.10 - [TALLER] - Weights initialization.ipynb		U2.10 - [TALLER] - Weights initialization.ipynb
U3.01 - Convolutional Neural Networks.ipynb		U3.01 - Convolutional Neural Networks.ipynb
U3.02 - Online dataset construction for image classification.ipynb		U3.02 - Online dataset construction for image classification.ipynb
U3.03 - TensorFlow Low Level API.ipynb		U3.03 - TensorFlow Low Level API.ipynb
U3.04 - Batch Normalization.ipynb		U3.04 - Batch Normalization.ipynb
U3.05 - [TALLER] - Online dataset construction and CNN architectures.ipynb		U3.05 - [TALLER] - Online dataset construction and CNN architectures.ipynb
U3.06 - [TALLER] - MLP with Low Level API.ipynb		U3.06 - [TALLER] - MLP with Low Level API.ipynb
U3.07 - [TALLER] - Batch Normalization in CNN with low level API.ipynb		U3.07 - [TALLER] - Batch Normalization in CNN with low level API.ipynb
U3.08 - Transfer learning.ipynb		U3.08 - Transfer learning.ipynb
U3.09 - Feature Engineering and Feature Learning.ipynb		U3.09 - Feature Engineering and Feature Learning.ipynb
U3.10 - [TALLER] - Transfer Learning.ipynb		U3.10 - [TALLER] - Transfer Learning.ipynb
U3.11 - [TALLER] - Object detection.ipynb		U3.11 - [TALLER] - Object detection.ipynb
U3.12 - Transposed convolutions for image segmentation.ipynb		U3.12 - Transposed convolutions for image segmentation.ipynb
U3.13 - Image Segmentation.ipynb		U3.13 - Image Segmentation.ipynb
U3.14 - Interpretability by occlusion.ipynb		U3.14 - Interpretability by occlusion.ipynb
U3.15 - [TALLER] - Transposed convolutions.ipynb		U3.15 - [TALLER] - Transposed convolutions.ipynb
U3.16 - [TALLER] - Image Segmentation.ipynb		U3.16 - [TALLER] - Image Segmentation.ipynb
U3.17 - [TALLER] - Image occlusion.ipynb		U3.17 - [TALLER] - Image occlusion.ipynb
U4.01 - Recurrent Neural Networks.ipynb		U4.01 - Recurrent Neural Networks.ipynb
U4.02 - [TALLER] RNN - Multivariate time series prediction.ipynb		U4.02 - [TALLER] RNN - Multivariate time series prediction.ipynb
U4.03 - Long Short Term Memory RNN.ipynb		U4.03 - Long Short Term Memory RNN.ipynb
U4.04 - Truncated BPTT.ipynb		U4.04 - Truncated BPTT.ipynb
U4.05 - Basic concepts of text processing.ipynb		U4.05 - Basic concepts of text processing.ipynb
U4.06 - [TALLER] - Padding, Masking - Sentiment Analysis.ipynb		U4.06 - [TALLER] - Padding, Masking - Sentiment Analysis.ipynb
U4.07 - Bidirectional RNNs.ipynb		U4.07 - Bidirectional RNNs.ipynb
U4.08 - Sequences generation using LSTM.ipynb		U4.08 - Sequences generation using LSTM.ipynb
U4.09 - CNN-LSTM arquitecture.ipynb		U4.09 - CNN-LSTM arquitecture.ipynb
U4.10 [TALLER] Machine Translation.ipynb		U4.10 [TALLER] Machine Translation.ipynb
U4.11 - [TALLER] Music generation.ipynb		U4.11 - [TALLER] Music generation.ipynb
UAppendix.2.01 - Inspecting model internals with Keras.ipynb		UAppendix.2.01 - Inspecting model internals with Keras.ipynb
UAppendix.2.02 - [TALLER] - Autoenconders.ipynb		UAppendix.2.02 - [TALLER] - Autoenconders.ipynb
mlutils.py		mlutils.py

rramosp/20191.DL

Folders and files

Latest commit

History

Repository files navigation

20191.DL Fundamentos de Deep Learning

Calendario

Evaluación

Proyectos

Entrega

Criterios de evaluación

Presentación

Registro y materiales

Lecturas recomendadas

About

Resources

Stars

Watchers

Forks

Languages