[WIP] Реалізація міграцій БД з використанням doctrine migrations

[yukoff]

Щоб в майбутньому бути сумісним з laravel (upstream TP перейшов на нього в experimental
гілці) почнімо з міграцій doctrine.

Через використання ENUM довелось задіяти ORM та згенерувати відповідні entities, плюс необхідно проаналізувати, чи можливий т.зв. data-seeding у випадку doctrine (якщо замість альтерів таблиць з даними переливати дані зі старої структури в нову, пусту базу)

• cli-додаток для роботи з міграціями - використовується artisan з laravel (upstream переходять на нього)
• міграція з TP v2.2.1 на v2.2.2, якщо контейнер вже оновлювався - міграція не повинна "падати"
• конвертація бази в utf8mb4/utf8mb4_unicode_ci
• кастомні типи даних doctrine для ENUM типу даних
• використання utf8mb4_bin для зберігання паролів, ip-адрес, ідентифікаторів сесій тощо - частково це було реалізовано до пропонованих змін
• проаналізувати можливість data-seeding у випадку doctrine - laravel може сідування даних
• спробувати замість класів з анотаціями метадані зберігати в .yml
• змінити простір імен для класів ORM, налаштувати їх автозавантаження в composer.json

Closes #7, closes #46, closes #76

TODO

• Синхронізація бази з моделями doctrine
• додати в docker-compose.yml, щоб міграція автоматично запускалася при docker-compose up -d (документація?)
  • Wrapper для php artisan migrate
• Змержити з experimental гілки upstream’у правки щодо зміни конфліктуючих з laravel імен функцій (redirect() & auth())
• Злити PR міграції зі старої толоки, closes beta migration #76 (in progress)
  • bb_attachments (Прикріплення файлів до приватних повідомлень) Прикріплення файлів до приватних повідомлень (bb_attachments) #27
  • bb_attachments_rating (кнопка "Дякую") Додати кнопку "дякую" #23/Кнопка "Дякую" #53
  • bb_bt_config, closes Міграція bb_bt_config #95
  • bb_bt_search_results, closes Міграція bb_bt_search_results #94
  • bb_bt_torrents.topic_check*, closes Міграція перевірок модераторами (bb_bt_torrents.topic_check*) #43
  • bb_bt_torrents_del, closes Міграція bb_bt_torrents_del #96
  • bb_bt_users, closes Міграція статистики завантажень і бонусів (bb_bt_users) #47
  • bb_bt_users_dl_status, closes Міграція bb_bt_users_dl_status #97
  • bb_confirm, closes Міграція bb_confirm #98
  • bb_dl_st_prevs_list, closes Міграція bb_dl_st_prevs_list #99
  • bb_easymod та bb_easymod_processed_files, closes Міграція bb_easymod #39
  • bb_flags, closes Міграція bb_flags #100
  • bb_forbidden_extensions, closes Міграція bb_forbidden_extensions #101
  • bb_forum_prune, closes Міграція bb_forum_prune #102
  • bb_posts_edit, closes Час і автор кожного редагування допису (bb_posts_edit) #40
  • bb_search_wordlist, closes Міграція bb_search_wordlist #103
  • bb_search_wordmatch, closes Міграція bb_search_wordmatch #90
  • bb_sessions_keys, closes Таблиця bb_sessions_keys #37
  • bb_themes та bb_themes_name, closes Міграція bb_themes* #104
  • bb_topics_move, closes Міграція bb_topics_move #105
  • bb_user_group.group_moderator, closes Модератори груп (bb_user_group.group_moderator) #38
  • bb_vote_(desc|results|voters), closes Міграція bb_vote_(desc|results|voters) #91
  • bb_warnings та bb_warnings_text (так звані "жовті картки") Жовті картки (bb_warnings*) #41
• Прибрати тригер для анонсера XBT, closes Прибрати тригер для анонсера XBT (bb_topics_au) #108
• Оновити паролі користувачів на тестових інсталяціях відповідно до Покращення хешу паролів #50, closes Хешування паролів з використанням password_hash() та перевірка з password_verify() #54
• Мінімізувати розбіжності у полях типу TEXT, які при CONVERT TO CHARACTER SET стають MEDIUMTEXT типу
• Імпорт даних для нових таблиць при міграції зі старої версії, closes Необхідний імпорт даних для нових таблиць #106
• Типові значення стовпців для bb_users, closes Типове значення user_birthday не дає змінити пароль #56
• PRIMARY KEY на таблиці bb_bt_dlstatus PRIMARY KEY на таблиці bb_bt_dlstatus #107

[konfuciusu]

використання utf8mb4_bin для зберігання паролів, ip-адрес, ідентифікаторів сесій тощо - частково це було реалізовано до пропонованих змін

Добре, що не набули про це при переході на unicode_ci 👍

[konfuciusu]

Наївна реалізація завдання про docker-compose:

toloka-migration:
    image: hurtom/php:nginx
    command: bash -c "sleep 30 && doctrine migration command"
    volumes:
      - ./:/var/www/html
    env_file:
      - dev.env

На жаль, автори docker відкинули docker/compose#374 і docker/compose#1809, тому напевне єдина альтернатива - це додати entrypoint-скрипт, але тоді варто звернути увагу на docker/compose#3140

[konfuciusu]

Можна ще за допомогою supervisord:

[program:migration]
command = doctrine migration command
autorestart = false
stdout_logfile = /dev/stdout
stdout_logfile_maxbytes = 0
stderr_logfile = /dev/stderr
stderr_logfile_maxbytes = 0

[yukoff]

Про supervisord я й не подумав. В принципі, мені головне включити їх до процесу тестування, та й +1 рядок в документації теж не проблема :) Можна мабуть через окремий issue/PR. Зараз аналізую/адаптую код з #76, перебазований над цим - все ніяк до docker-compose не доберусь.

[konfuciusu]

Зараз ще згадав: doctrine migration command бажано загорнути в невеликий скрипт (php/bash), який запускає комадну аж тоді, коли mariadb стане доступною.

[konfuciusu]

Таблиці, які не позначані ***, можна пропустити:

bb_bt_config
bb_bt_search_results
bb_bt_torrents_del
bb_confirm
bb_dl_st_prevs_list
bb_easymod
bb_easymod_processed_files
bb_flags
bb_forbidden_extensions
bb_forum_prune
bb_search_wordlist
bb_search_wordmatch
bb_sessions_keys
bb_themes
bb_themes_name
bb_topics_move

Вони не мають жодної цінності.

[yukoff]

@konfuciusu Трохи не вловив - а позначені де? Тобто цей перелік

bb_bt_config
bb_bt_search_results
bb_bt_torrents_del
bb_confirm
bb_dl_st_prevs_list
bb_easymod
bb_easymod_processed_files
bb_flags
bb_forbidden_extensions
bb_forum_prune
bb_search_wordlist
bb_search_wordmatch
bb_sessions_keys
bb_themes
bb_themes_name
bb_topics_move

можна викидати?

[konfuciusu]

Тут: https://github.com/hurtom/toloka/blob/master/install/sql/toloka_old.sql

Так, можна викидати.

[yukoff]

@konfuciusu Аааа... Вибачаюсь, я не звернув увагу на ті "зірочки" в старій схемі 🤦‍♂️ 😄

[yukoff]

Я тут думаю - може варто замість автоматичного запуску через docker-compose up -d все ж робити це за допомогою composer

diff --git a/composer.json b/composer.json
index ff0de5d2..ecdfdcfa 100644
--- a/composer.json
+++ b/composer.json
@@ -88,6 +88,9 @@
       "Illuminate\\Foundation\\ComposerScripts::postUpdate",
       "php artisan optimize"
     ],
+    "database:migrate": [
+      "php artisan doctrine:migrations:migrate --force"
+    ],
     "test": [
       "echo 'NOTE: Instead of running <composer test:lint> linting should be done with StyleCI'",
       "composer test:unit",

та відповідно

docker-compose up -d
docker-compose exec -u www-data toloka composer update -o
docker-compose exec -u www-data toloka composer database:migrate

Або можна навіть database:migrate додати у post-update-cmd, тоді остання команда не потрібна

[konfuciusu]

Через composer database:migrate теж нормально, треба тільки це тоді додати в readme.

Можна вже пробувати тестувати на старій базі?

[yukoff]

@konfuciusu Майже, є кілька моментів які зловив при перебазуванні #55 - днями з ними розберусь, думаю десь на наступному тижні вже можна буде тестувати.

В принципі міграція працює вже зараз, але після міграції не все працює з функціоналу через нові поля і відсутність типових значень на них. Зараз можна хіба що прогнати тестову міграцію на знятку (снепшоті), аби прикинути необхідний час і можливо щось оптимізувати.