Merge pull request #177 from deepmipt/dev

Release v0.2.0

.env

@@ -30,4 +30,4 @@ NEWS_API_ANNOTATOR_URL=http://news-api-annotator:8112/respond
 WIKI_FACTS_URL=http://wiki-facts:8116/respond
 FACT_RANDOM_SERVICE_URL=http://fact-random:8119/respond
 INFILLING_SERVICE_URL=http://infilling:8122/respond
-
+DIALOGPT_SERVICE_URL=http://dialogpt:8091/respond

Jenkinsfile

@@ -157,6 +157,105 @@ pipeline {
         }
       }
     }
+
+    stage('Build-RU') {
+      steps {
+        script{
+          startTime = currentBuild.duration
+          Exception ex = null
+          catchError(buildResult: 'FAILURE', stageResult: 'FAILURE') {
+            try {
+              sh '''
+                tests/runtests.sh MODE=clean
+                tests/runtests_russian.sh MODE=build
+              '''
+            }
+            catch (Exception e) {
+              int duration = (currentBuild.duration - startTime) / 1000
+              throw e
+            }
+          }
+        }
+      }
+      post {
+        failure {
+          script {
+            sh 'tests/runtests_russian.sh MODE=clean'
+          }
+        }
+        success {
+          script {
+            int duration = (currentBuild.duration - startTime) / 1000
+          }
+        }
+      }
+    }
+
+    stage('Start-RU') {
+      steps {
+        script {
+          startTime = currentBuild.duration
+          Exception ex = null
+          catchError(buildResult: 'FAILURE', stageResult: 'FAILURE') {
+            try {
+              sh 'tests/runtests_russian.sh MODE=clean && tests/runtests_russian.sh MODE=start'
+            }
+            catch (Exception e) {
+              int duration = (currentBuild.duration - startTime) / 1000
+              throw e
+            }
+          }
+        }
+      }
+      post {
+        failure {
+          script {
+            sh 'tests/runtests_russian.sh MODE=clean'
+          }
+        }
+        success {
+          script {
+            started = true
+            int duration = (currentBuild.duration - startTime) / 1000
+          }
+        }
+        aborted {
+          script {
+            sh 'tests/runtests_russian.sh MODE=clean'
+          }
+        }
+      }
+    }
+
+    stage('Test skills-RU') {
+      steps {
+        script {
+          startTime = currentBuild.duration
+          Exception ex = null
+          catchError(buildResult: 'FAILURE', stageResult: 'FAILURE') {
+            try {
+              sh label: 'test skills', script: 'tests/runtests_russian.sh MODE=test_skills'
+            }
+            catch (Exception e) {
+              int duration = (currentBuild.duration - startTime) / 1000
+              throw e
+            }
+          }
+        }
+      }
+      post {
+        success {
+          script {
+            int duration = (currentBuild.duration - startTime) / 1000
+          }
+        }
+        aborted {
+          script {
+            sh 'tests/runtests_russian.sh MODE=clean'
+          }
+        }
+      }
+    }
   }
   post {
     aborted {
@@ -168,6 +267,7 @@ pipeline {
       script {
         if (started) {
           sh './tests/runtests.sh MODE=clean'
+          sh './tests/runtests_russian.sh MODE=clean'
         }
       }
     }

annotators/BadlistedWordsDetector_ru/Dockerfile

@@ -0,0 +1,11 @@
+FROM python:3.7.4
+
+RUN mkdir /src
+
+COPY ./requirements.txt /src/requirements.txt
+RUN pip install -r /src/requirements.txt
+
+COPY . /src/
+WORKDIR /src
+
+CMD gunicorn --workers=2 server:app

annotators/BadlistedWordsDetector_ru/badlists/bad_words.txt

@@ -0,0 +1,221 @@
+БЛЯДЬ
+БЛЯТЬ
+ЕБАТЬ
+ПИЗДА
+ХЕР
+ХУЙ
+БЕСПИЗДАЯ
+БЛЯ
+БЛЯДВА
+БЛЯДИАДА
+БЛЯДИНА
+БЛЯДИСТОСТЬ
+БЛЯДКИ
+БЛЯДОВАТЬ
+БЛЯДОГОН
+БЛЯДОСЛОВНИК
+БЛЯДУН
+БЛЯДЬ
+БЛЯХОМУДИЯ
+ВЗБЛЯД
+ВЗЪЕБНУТЬ
+ВЗЪЕБЩИК
+ВПИЗДИТЬ
+ВПИЗДИТЬСЯ
+ВПИЗДРОНИВАТЬ
+ВПИЗДРОНИВАТЬСЯ
+ВПИЗДЮЛИТЬ
+ВПИЗДЯЧИТЬ
+ВПИЗЖИВАТЬ
+ВПИЗЖИВАТЬСЯ
+ВХУЯРИВАНИЕ
+ВЫБЛЯДОК
+ВЫЕБАТЬ
+ВЫЕБОК
+ВЫЕБОН
+ВЫПИЗДЕТЬСЯ
+ВЫПИЗДИТЬ
+ВЪЕБАТЬ
+ГЛУПИЗДИ
+ГРЕБЛЯДЬ
+ДЕРЬМОХЕРОПИЗДОКРАТИЯ
+ДОЕБАТЬСЯ
+ДОПИЗДЕТЬСЯ
+ДОХУЙНУТЬ
+ЕБАЛКА
+ЕБАЛОВО
+ЕБАЛЬНИК
+ЕБАН
+ЕБАНАТИК
+ЕБАНДЕЙ
+ЕБАНУТЬ
+ЕБАНУТЬСЯ
+ЕБАНУТЫЙ
+ЕБАНЬКО
+ЕБАРИШКА
+ЕБАТОРИЙ
+ЕБАТЬ
+ЕБАТЬСЯ
+ЕБАШИТ
+ЕБИСТИКА
+ЕБЛАН
+ЕБЛАНИТЬ
+ЕБЛИВАЯ
+ЕБЛЯ
+ЕБНУТЬ
+ЕБУКЕНТИЙ
+ЗАЕБАТЬ
+ЗАЕБИСЬ
+ЗАЕБАТЬСЯ
+ЗАПИЗДЕНЕВАТЬ
+ЗАПИЗДЕТЬ
+ЗАПИЗДИТЬ
+ЗАПИЗЖИВАТЬСЯ
+ЗАХУЯРИТЬ
+ИСПИЗДИТЬ
+ИСХУЯЧИТЬ
+МНОГОПИЗДНАЯ
+НАБЛЯДОВАЛ
+НАЕБАЛОВО
+НАЕБАТЬ
+НАЕБАТЬСЯ
+НАЕБАШИЛСЯ
+НАЕБЕНИТЬСЯ
+НАЕБНУТЬ
+НАХУЕВЕРТЕТЬ
+НАХУЙ
+НАХУЯ
+НАХЕР
+НАХУЯРИВАТЬ
+НАХУЯРИТЬСЯ
+НАПИЗДЕТЬ
+НАПИЗДИТЬ
+НАСТОЕБАТЬ
+НЕВЪЕБЕННЫЙ
+НЕХУЙ
+ОБЕРБЛЯДЬ
+ОБЪЕБАЛОВО
+ОБЪЕБАТЕЛЬСТВО
+ОБЪЕБАТЬ
+ОБЪЕБАТЬСЯ
+ОБЪЕБОС
+ОПИЗДЕНЕВАТЬ
+ОПИЗДИХУИТЕЛЬНЫЙ
+ОПИЗДОУМЕЛ
+ОСТОПИЗДЕЛО
+ОСТОПИЗДЕТЬ
+ОСТОХУЕТЬ
+ОТПИЗДИТЬ
+ОТХУЯРИВАТЬ
+ОТЪЕБАТЬСЯ
+ОХУЕННЫЙ
+ОХУИТЕЛЬНЫЙ
+ОХУЯЧИВАТЬ
+ОХУЯЧИТЬ
+ПЕРЕЕБАТЬ
+ПЕРЕХУЯРИВАТЬ
+ПЕРЕХУЯРИТЬ
+ПИЗДАБОЛ
+ПИЗДАКРЫЛ
+ПИЗДАНУТЬ
+ПИЗДАНУТЬСЯ
+ПИЗДЕЛИТЬСЯ
+ПИЗДЕТЬ
+ПИЗДЕЦ
+ПИЗДИТЬ
+ПИЗДОБЛОШКА
+ПИЗДОБРАТ
+ПИЗДОБРАТИЯ
+ПИЗДОВЛАДЕЛЕЦ
+ПИЗДОДУШИЕ
+ПИЗДОЛЕТ
+ПИЗДОЛИЗ
+ПИЗДОМАНИЯ
+ПИЗДОПЛЯСКА
+ПИЗДОСТРАДАЛЕЦ
+ПИЗДОСТРАДАНИЯ
+ПИЗДОХУЙ
+ПИЗДОШИТЬ
+ПИЗДРИК
+ПИЗДУЙ
+ПИЗДУН
+ПИЗДЮК
+ПИЗДЮЛИ
+ПИЗДЮЛИНА
+ПИЗДЮЛЬКА
+ПИЗДЮЛЯ
+ПИЗДЮРИТЬ
+ПИЗДЮХАТЬ
+ПИЗДЮШНИК
+ПОДЗАЕБАТЬ
+ПОДЗАЕБЕНИТЬ
+ПОДНАЕБНУТЬ
+ПОДНАЕБНУТЬСЯ
+ПОДЪЕБНУТЬ
+ПОЕБАТЬ
+ПОЕБЕНЬ
+ПОПИЗДЕТЬ
+ПОПИЗДИЛИ
+ПОХЕР
+ПОХУЙ
+ПОХУЯРИЛИ
+ПРИЕБАТЬСЯ
+ПРИПИЗДЕТЬ
+ПРИПИЗДИТЬ
+ПРИХУЯРИТЬ
+ПРОБЛЯДЬ
+ПРОЕБАТЬ
+ПРОЕБАТЬСЯ
+ПРОПИЗДИТЬ
+РАЗЪЕБАЙ
+РАЗЪЕБАТЬСЯ
+РАСПИЗДОН
+РАСПИЗДЯЙСТВО
+РАСХУЮЖИТЬ
+СУХОПИЗДАЯ
+СХУЯРИТЬ
+СЪЕБАТЬСЯ
+ТРЕПЕЗДОН
+ТРЕПЕЗДОНИТ
+ТУЕБЕНЬ
+ТУПИЗДЕНЬ
+УЕБАН
+УЕБАТЬ
+УПИЗДИТЬ
+ХЕР
+ХЕРАКС
+ХЕРАСЕ
+ХЕРАСИ
+ХЕРАНУТЬ
+ХЕРИТЬ
+ХЕРНЯ
+ХЕРОВИНА
+ХЙ
+ХУЕВ
+ХУЕВАТЕНЬКИЙ
+ХУЕВАТО
+ХУЕВИНА
+ХУЁВИНА
+ХУЕБРАТИЯ
+ХУЕГЛОТ
+ХУЕГРЫЗ
+ХУЕДИН
+ХУЕЛЕС
+ХУЕМАН
+ХУЕМЫРЛО
+ХУЕПУТАЛО
+ХУЕСОС
+ХУЕТА
+ХУЕТЕНЬ
+ХУЙЛО
+ХУЙНЯ
+ХУЙНУТЬ
+ХУЯЦИЯ
+ХУЯСЕ
+ХУЯСИ
+ХУЛИ
+ХУЯ
+ХУЯК
+ХУЯКС
+ХУЯЧИТЬ
+ШИРОКОПИЗДАЯ

annotators/BadlistedWordsDetector_ru/requirements.txt

@@ -0,0 +1,10 @@
+flask==1.1.1
+itsdangerous==2.0.1
+gunicorn==19.9.0
+requests==2.22.0
+sentry-sdk==0.12.3
+spacy==3.0.5
+click==7.1.2
+pymorphy2==0.9.1
+jinja2<=3.0.3
+Werkzeug<=2.0.3