Курс "Глубинное обучение (ГО) 1 / Введение в ГО" на ФКН ВШЭ

Версии курса прошлых лет

• 2021-2022
• 2022-2023

Полезные ссылки

• Вики-страничка
• Таблица с оценками
• Плейлист с записями занятий

Лекции

Глоссарий с терминами.

1. Метод обратного распространения ошибки, полносвязные нейронные сети: запись, доска
2. Кросс-энтропийная функция потерь, Dropout, Batch Normalization: запись, доска
3. Оптимизация нейронных сетей: запись, доска
4. Операция свертки: запись, доска
5. Сверточные архитектуры: запись, слайды
6. Задачи компьютерного зрения: запись, слайды
7. Токенизация, эмбеддинги, TextCNN: запись, доска
8. Рекуррентные нейронные сети: запись, доска
9. Архитектура трансформера: запись, доска
10. Self-supervised learning, BERT, SimCLR: запись, доска
11. Трансформеры для компьютерного зрения: запись, доска
12. Оптимизации для применения нейронных сетей: запись, доска
13. Соревновательные атаки, генеративно-состязательные сети (GANs): запись, доска
14. Вариационный автокодировщик: запись, доска
15. Диффузионные модели: запись

Семинары

1. Введение в библиотеку PyTorch. Автоматическое дифференцирование: ноутбук
2. Полносвязные нейронные сети. Общая схема пайплайна обучения на PyTorch: ноутбук
3. Операция свертки: ноутбук
4. Сверточные архитектуры: ноутбук
5. Семантическая сегментация и детекция: ноутбук
6. Word2Vec, TextCNN: ноутбук
7. Language models, image captioning: ноутбук
8. Архитектура трансформера: ноутбук
9. BERT, question answering: ноутбук
10. Соревновательные атаки, генеративно-состязательные сети (GANs): ноутбук
11. Вариационный автокодировщик (VAE): ноутбук

Маленькие домашние задания

1. Автоматическое дифференцирование и полносвязные нейронные сети: ссылка
2. Сверточный классификатор: ссылка
3. RNN и языковые модели: ссылка
4. (бонус) Обучение модели CLIP: ссылка

Теоретические домашние задания

Теоретические ДЗ не сдаются и предлагаются студентам для самостоятельного решения и ознакомления

1. Полносвязные нейронные сети: ссылка
2. Сверточные нейронные сети: ссылка