Variational-Inference

If you want to intsall via Docker, download folder docker, when build Docker Image from it via terminal:

sudo docker build -t zhmar -f Dockerfile .

Then execute the following command to run it:

sudo docker run -p 9999:8888 -it zhmar:latest

You can find documenatation for this library in file .

Below is a short intro into Variational Inference in Russian. There is one in English in documentation.

Постановка задачи:

Имеется вероятностная модель , где x -- вектор наблюдаемых, z -- скрытых переменных, а -- вектор параметров.

Цель: по набору наблюдаемых x-в восстановить оптимальное :

Для решения этой задачи вводится вариационное распределение , которым аппроксимируется постериорное распределение на z:

Таким образом решается сразу две задачи: настраиваются параметры вероятностной модели и аппроксимируется потсериорное распределение.

Максимизировать непосредственно правдоподобие сложно: в формулах возникают интегралы, которые в большинстве случаев не берутся аналитически. Кроме того, зачастую такой подход плохо масштабируется на большие объемы выборок. По этой причине вместо правдоподобия максимизируют ELBO (Evidence Lower BOund).

Оптимизировать ELBO можно итерируясь по небольшим батчам, поэтому в такой постановке задача масштабируется на случай больших данных. Есть несколько способов считать ELBO (подробнее про это можно почитать, например, тут).

Существующие библиотеки для Вариационного Вывода:

• Edward (работает с TensorFlow и Keras)
• Pyro (работает с PyTorch)

Team:

• Sergey Makarychev
• Aleksandr Rozhnov
• Anton Zhevnerchuk