Добавлен ELK.
Добавлен CI-процесс.
Добавлен загрузчик данных в MongoDB.
Добавлены схемы новых данных.
Добавлены эндпойнты для получения новых данных (likes, bookmarks, reviews, reviews/likes)
Расширен функционал класса, отвечающего за взаимодействие с ClickHouse (больше вариантов аналитических запросов).
Добавлен MongoDB для хранения данных, которые должны быстро отдаваться пользователю (напр.,список фильмов с его лайками).
1. make launch_ch (Запуск контейнеров ClickHouse)
2. make storages_ch (Создание БД и таблиц в ClickHouse)
3. make mongo (Запуск контейнеров Mongo)
4. make mongo_set (Конфигурирование Mongo)
5. make mongo_db (Создание шардированных таблиц Mongo)
6. make launch_etl (Запуск всех сервисов)
make launch_etl
Строк для записи – 5 000 000
Запросов на чтение – 5 000
Размер партии – 500
Результат – время в секундах
Строк для записи – 1 000 000
Запросов на чтение – 300
Размер партии – 5 000
Результат – время в секундах