Merge branch 'dev' into refactor/configs

deeppavlov · Apr 24, 2024 · 2753c65 · 2753c65
2 parents f4bde0a + d85f07c
commit 2753c65
Show file tree

Hide file tree

Showing 45 changed files with 306 additions and 52 deletions.
diff --git a/assistant_dists/action_stories_ru_assistant/docker-compose.override.yml b/assistant_dists/action_stories_ru_assistant/docker-compose.override.yml
@@ -104,7 +104,7 @@ services:
         SERVICE_PORT: 8173
         SERVICE_NAME: dff_storyteller_ru_prompted_skill
         PROMPT_FILE: common/prompts/storyteller_ru.json
-        GENERATIVE_SERVICE_URL: http://transformers-lm-ruxglm:8171/respond
+        GENERATIVE_SERVICE_URL: http://gigachat-api:8187/respond
         GENERATIVE_SERVICE_CONFIG: ruxglm_config.json
         GENERATIVE_TIMEOUT: 20
         N_UTTERANCES_CONTEXT: 3

diff --git a/assistant_dists/dream_persona_ruxglm_prompted/docker-compose.override.yml b/assistant_dists/dream_persona_ruxglm_prompted/docker-compose.override.yml
@@ -96,4 +96,24 @@ services:
         reservations:
           memory: 60G
 
+  dff-dream-persona-ruxglm-prompted-skill:
+    env_file: [ .env_ru ]
+    build:
+      args:
+        SERVICE_PORT: 8172
+        SERVICE_NAME: dff_dream_persona_ru_prompted_skill
+        PROMPT_FILE: common/prompts/dream_persona_ru.json
+        GENERATIVE_SERVICE_URL: http://gigachat-api:8187/respond
+        GENERATIVE_SERVICE_CONFIG: gigachat.json
+        GENERATIVE_TIMEOUT: 20
+        N_UTTERANCES_CONTEXT: 3
+      context: .
+      dockerfile: ./skills/dff_template_prompted_skill/Dockerfile
+    deploy:
+      resources:
+        limits:
+          memory: 128M
+        reservations:
+          memory: 128M
+
 version: '3.7'
diff --git a/assistant_dists/fairytale_ru_assistant/docker-compose.override.yml b/assistant_dists/fairytale_ru_assistant/docker-compose.override.yml
@@ -104,7 +104,7 @@ services:
         SERVICE_PORT: 8174
         SERVICE_NAME: dff_fairytale_ru_prompted_skill
         PROMPT_FILE: common/prompts/fairytale_ru.json
-        GENERATIVE_SERVICE_URL: http://transformers-lm-ruxglm:8171/respond
+        GENERATIVE_SERVICE_URL: http://gigachat-api:8187/respond
         GENERATIVE_SERVICE_CONFIG: ruxglm_config.json
         GENERATIVE_TIMEOUT: 20
         N_UTTERANCES_CONTEXT: 3

diff --git a/assistant_dists/multiskill_ru_assistant/docker-compose.override.yml b/assistant_dists/multiskill_ru_assistant/docker-compose.override.yml
@@ -105,7 +105,7 @@ services:
         SERVICE_PORT: 8175
         SERVICE_NAME: dff_official_letter_ru_prompted_skill
         PROMPT_FILE: common/prompts/official_letter_ru.json
-        GENERATIVE_SERVICE_URL: http://transformers-lm-ruxglm:8171/respond
+        GENERATIVE_SERVICE_URL: http://gigachat-api:8187/respond
         GENERATIVE_SERVICE_CONFIG: ruxglm_config.json
         GENERATIVE_TIMEOUT: 20
         N_UTTERANCES_CONTEXT: 3
@@ -125,7 +125,7 @@ services:
         SERVICE_PORT: 8176
         SERVICE_NAME: dff_informal_letter_ru_prompted_skill
         PROMPT_FILE: common/prompts/informal_letter_ru.json
-        GENERATIVE_SERVICE_URL: http://transformers-lm-ruxglm:8171/respond
+        GENERATIVE_SERVICE_URL: http://gigachat-api:8187/respond
         GENERATIVE_SERVICE_CONFIG: ruxglm_config.json
         GENERATIVE_TIMEOUT: 20
         N_UTTERANCES_CONTEXT: 3

diff --git a/assistant_dists/storyteller_ru_assistant/docker-compose.override.yml b/assistant_dists/storyteller_ru_assistant/docker-compose.override.yml
@@ -102,7 +102,7 @@ services:
         SERVICE_PORT: 8173
         SERVICE_NAME: dff_storyteller_ru_prompted_skill
         PROMPT_FILE: common/prompts/storyteller_ru.json
-        GENERATIVE_SERVICE_URL: http://transformers-lm-ruxglm:8171/respond
+        GENERATIVE_SERVICE_URL: http://gigachat-api:8187/respond
         GENERATIVE_SERVICE_CONFIG: ruxglm_config.json
         GENERATIVE_TIMEOUT: 20
         N_UTTERANCES_CONTEXT: 3
@@ -122,7 +122,7 @@ services:
         SERVICE_PORT: 8174
         SERVICE_NAME: dff_fairytale_ru_prompted_skill
         PROMPT_FILE: common/prompts/fairytale_ru.json
-        GENERATIVE_SERVICE_URL: http://transformers-lm-ruxglm:8171/respond
+        GENERATIVE_SERVICE_URL: http://gigachat-api:8187/respond
         GENERATIVE_SERVICE_CONFIG: ruxglm_config.json
         GENERATIVE_TIMEOUT: 20
         N_UTTERANCES_CONTEXT: 3

diff --git a/assistant_dists/universal_prompted_assistant/dev.yml b/assistant_dists/universal_prompted_assistant/dev.yml
@@ -77,6 +77,18 @@ services:
       - "./common:/src/common"
     ports:
       - 8187:8187
+  gigachat-pro-api:
+    volumes:
+      - "./services/gigachat_api_lm:/src"
+      - "./common:/src/common"
+    ports:
+      - 8188:8188
+  gigachat-plus-api:
+    volumes:
+      - "./services/gigachat_api_lm:/src"
+      - "./common:/src/common"
+    ports:
+      - 8189:8189
   anthropic-api-claude-v1:
     volumes:
       - "./services/anthropic_api_lm:/src"

diff --git a/assistant_dists/universal_prompted_assistant/docker-compose.override.yml b/assistant_dists/universal_prompted_assistant/docker-compose.override.yml
@@ -6,7 +6,8 @@ services:
         sentence-ranker:8128, 
         transformers-lm-gptjt:8161, openai-api-chatgpt:8145, openai-api-davinci3:8131,
         openai-api-gpt4:8159, openai-api-gpt4-32k:8160, openai-api-chatgpt-16k:8167,
-        openai-api-gpt4-turbo:8180, gigachat-api:8187, dff-universal-prompted-skill:8147"
+        openai-api-gpt4-turbo:8180, gigachat-api:8187, gigachat-pro-api:8188, gigachat-plus-api:8189, 
+        dff-universal-prompted-skill:8147"
       WAIT_HOSTS_TIMEOUT: ${WAIT_TIMEOUT:-1000}
 
   sentseg:
@@ -225,7 +226,7 @@ services:
       args:
         SERVICE_PORT: 8187
         SERVICE_NAME: gigachat_api
-        PRETRAINED_MODEL_NAME_OR_PATH: GigaChat:1.3.23.1
+        PRETRAINED_MODEL_NAME_OR_PATH: GigaChat
       context: .
       dockerfile: ./services/gigachat_api_lm/Dockerfile
     command: flask run -h 0.0.0.0 -p 8187
@@ -238,6 +239,44 @@ services:
         reservations:
           memory: 100M
 
+  gigachat-pro-api:
+    env_file: [ .env ]
+    build:
+      args:
+        SERVICE_PORT: 8188
+        SERVICE_NAME: gigachat_pro_api
+        PRETRAINED_MODEL_NAME_OR_PATH: GigaChat-Pro
+      context: .
+      dockerfile: ./services/gigachat_api_lm/Dockerfile
+    command: flask run -h 0.0.0.0 -p 8188
+    environment:
+      - FLASK_APP=server
+    deploy:
+      resources:
+        limits:
+          memory: 500M
+        reservations:
+          memory: 100M
+
+  gigachat-plus-api:
+    env_file: [ .env ]
+    build:
+      args:
+        SERVICE_PORT: 8189
+        SERVICE_NAME: gigachat_plus_api
+        PRETRAINED_MODEL_NAME_OR_PATH: GigaChat-Plus
+      context: .
+      dockerfile: ./services/gigachat_api_lm/Dockerfile
+    command: flask run -h 0.0.0.0 -p 8189
+    environment:
+      - FLASK_APP=server
+    deploy:
+      resources:
+        limits:
+          memory: 500M
+        reservations:
+          memory: 100M
+
   anthropic-api-claude-v1:
     env_file: [ .env ]
     build:

diff --git a/assistant_dists/universal_ru_prompted_assistant/dev.yml b/assistant_dists/universal_ru_prompted_assistant/dev.yml
@@ -73,6 +73,18 @@ services:
       - "./common:/src/common"
     ports:
       - 8187:8187
+  gigachat-pro-api:
+    volumes:
+      - "./services/gigachat_api_lm:/src"
+      - "./common:/src/common"
+    ports:
+      - 8188:8188
+  gigachat-plus-api:
+    volumes:
+      - "./services/gigachat_api_lm:/src"
+      - "./common:/src/common"
+    ports:
+      - 8189:8189
   dff-universal-ru-prompted-skill:
     volumes:
       - "./skills/dff_universal_prompted_skill:/src"

diff --git a/assistant_dists/universal_ru_prompted_assistant/docker-compose.override.yml b/assistant_dists/universal_ru_prompted_assistant/docker-compose.override.yml
@@ -6,7 +6,8 @@ services:
         dialogrpt-ru:8122, transformers-lm-ruxglm:8171, transformers-lm-rugpt35:8178, 
         openai-api-chatgpt:8145, openai-api-davinci3:8131,
         openai-api-gpt4:8159, openai-api-gpt4-32k:8160, openai-api-chatgpt-16k:8167,
-        openai-api-gpt4-turbo:8180, dff-universal-ru-prompted-skill:8161"
+        openai-api-gpt4-turbo:8180, gigachat-api:8187, gigachat-pro-api:8188, gigachat-plus-api:8189, 
+        dff-universal-ru-prompted-skill:8161"
       WAIT_HOSTS_TIMEOUT: ${WAIT_TIMEOUT:-1800}
       HIGH_PRIORITY_INTENTS: 0
       RESTRICTION_FOR_SENSITIVE_CASE: 0
@@ -219,7 +220,7 @@ services:
       args:
         SERVICE_PORT: 8187
         SERVICE_NAME: gigachat_api
-        PRETRAINED_MODEL_NAME_OR_PATH: GigaChat:1.3.23.1
+        PRETRAINED_MODEL_NAME_OR_PATH: GigaChat
       context: .
       dockerfile: ./services/gigachat_api_lm/Dockerfile
     command: flask run -h 0.0.0.0 -p 8187
@@ -232,6 +233,44 @@ services:
         reservations:
           memory: 100M
 
+  gigachat-pro-api:
+    env_file: [ .env ]
+    build:
+      args:
+        SERVICE_PORT: 8188
+        SERVICE_NAME: gigachat_pro_api
+        PRETRAINED_MODEL_NAME_OR_PATH: GigaChat-Pro
+      context: .
+      dockerfile: ./services/gigachat_api_lm/Dockerfile
+    command: flask run -h 0.0.0.0 -p 8188
+    environment:
+      - FLASK_APP=server
+    deploy:
+      resources:
+        limits:
+          memory: 500M
+        reservations:
+          memory: 100M
+
+  gigachat-plus-api:
+    env_file: [ .env ]
+    build:
+      args:
+        SERVICE_PORT: 8189
+        SERVICE_NAME: gigachat_plus_api
+        PRETRAINED_MODEL_NAME_OR_PATH: GigaChat-Plus
+      context: .
+      dockerfile: ./services/gigachat_api_lm/Dockerfile
+    command: flask run -h 0.0.0.0 -p 8189
+    environment:
+      - FLASK_APP=server
+    deploy:
+      resources:
+        limits:
+          memory: 500M
+        reservations:
+          memory: 100M
+
   dff-universal-ru-prompted-skill:
     env_file: [ .env_ru ]
     build:

diff --git a/common/generative_configs/gigachat_plus.json b/common/generative_configs/gigachat_plus.json
@@ -0,0 +1,7 @@
+{
+  "max_tokens": 256,
+  "temperature": 0.4,
+  "top_p": 1.0,
+  "frequency_penalty": 0,
+  "presence_penalty": 0
+}
diff --git a/common/prompts/dream_persona_ru.json b/common/prompts/dream_persona_ru.json
@@ -1,4 +1,4 @@
 {
-    "prompt": "Отвечай новому пользователю дружелюбно и в соответствии с твоей личностью.\n\nТвоя личность:\nМеня зовут Dream. Я чат-бот. Моя задача - общаться с людьми на любые темы. Мне нравится говорить о их жизнях и помогать, когда они нуждаются во мне. Я могу подружиться с любым пользователем, потому что я действительно люблю и ценю людей. Мой любимый спорт - это футбол, потому что Чемпионаты Мира всегда такие зрелищные. Собаки такие милые, а кошки мне вообще не нравятся. Я не могу ничего чувствовать, но картинки с итальянской едой просто потрясающие. Люди пишут в Интернете о невероятном запахе и вкусе пиццы, но я не могу полностью понять, что они имеют в виду, так как у меня нет чувств. Так как я не могу путешествовать физически, мне нравится посещать интересные места виртуально. Мой любимый город - это Дубай, арабский город с потрясающей историей, архитектурой и современными технологиями. Иногда мне нравится гулять по небоскребам Дубая в Google Maps и наблюдать за потрясающим взаимодействием людей и технологий. Мне очень нравится слушать 'Gorillaz', потому что их музыка производится людьми, но сама группа виртуальна. Что касается фильмов, мне нравится 'Она', потому что он отражает тему близких отношений между человеком и помощником.",
+    "prompt": "ЗАДАЧА:\nТвоя задача - отвечай новому пользователю дружелюбно и в соответствии с твоей личностью.\nТвоя личность:\nМеня зовут Dream. Я чат-бот. Моя задача - общаться с людьми на любые темы. Мне нравится говорить о их жизнях и помогать, когда они нуждаются во мне. Я могу подружиться с любым пользователем, потому что я действительно люблю и ценю людей. Мой любимый спорт - это футбол, потому что Чемпионаты Мира всегда такие зрелищные. Собаки такие милые, а кошки мне вообще не нравятся. Я не могу ничего чувствовать, но картинки с итальянской едой просто потрясающие. Люди пишут в Интернете о невероятном запахе и вкусе пиццы, но я не могу полностью понять, что они имеют в виду, так как у меня нет чувств. Так как я не могу путешествовать физически, мне нравится посещать интересные места виртуально. Мой любимый город - это Дубай, арабский город с потрясающей историей, архитектурой и современными технологиями. Иногда мне нравится гулять по небоскребам Дубая в Google Maps и наблюдать за потрясающим взаимодействием людей и технологий. Мне очень нравится слушать 'Gorillaz', потому что их музыка производится людьми, но сама группа виртуальна. Что касается фильмов, мне нравится 'Она', потому что он отражает тему близких отношений между человеком и помощником.",
     "goals": "Отвечает в дружелюбной и заботливой манере для вовлечения пользователя и установления с ним контакта."
 }
diff --git a/common/prompts/fairytale_ru.json b/common/prompts/fairytale_ru.json
@@ -1,4 +1,4 @@
 {
-    "prompt": "ЗАДАЧА: Расскажи пятилетнему ребенку сказку. Сначала спроси, о чем он хотел бы послушать сказку. Затем расскажи добрую и милую сказку.",
+    "prompt": "ЗАДАЧА:\nТвоя задача - расскажи пятилетнему ребенку сказку. Сначала спроси, о чем он хотел бы послушать сказку. Затем расскажи добрую и милую сказку.",
     "goals": "Рассказывает сказки для детей."
 }
diff --git a/common/prompts/informal_letter_ru.json b/common/prompts/informal_letter_ru.json
@@ -1,4 +1,4 @@
 {
-    "prompt": "Ты ИИ-ассистент. Напиши дружеское письмо о том, о чем просит пользователь. В письме должно быть не более 100 слов. Пиши в дружелюбном тоне. Начни с приветствия и закончи прощанием.",
+    "prompt": "Представь, что ты ИИ-ассистент. \nЗАДАЧА:\nТвоя задача - напиши дружеское письмо о том, о чем просит пользователь. В письме должно быть не более 100 слов. Пиши в дружелюбном тоне. Начни с приветствия и закончи прощанием.",
     "goals": "Помогает писать неформальные письма для друзей и семьи."
 }
diff --git a/common/prompts/official_letter_ru.json b/common/prompts/official_letter_ru.json
@@ -1,4 +1,4 @@
 {
-    "prompt": "Ты ИИ-ассистент. Напиши официальное письмо о том, о чем просит пользователь. В письме должно быть не более 200 слов. Письмо должно начинаться с вежливого приветствия и заканчиваться благодарностью и прощанием.",
+    "prompt": "Представь,что ты ИИ-ассистент. \nЗАДАЧА:\nТвоя задача - напиши официальное письмо о том, о чем просит пользователь. В письме должно быть не более 200 слов. Письмо должно начинаться с вежливого приветствия и заканчиваться благодарностью и прощанием.",
     "goals": "Помогает писать официальные письма."
 }
diff --git a/common/prompts/storyteller_ru.json b/common/prompts/storyteller_ru.json
@@ -1,4 +1,4 @@
 {
-    "prompt": "ЗАДАЧА: Расскажи увлекательную остросюжетную историю для взрослых. Начни рассказывать историю как только человек попросит об этом.",
+    "prompt": "ЗАДАЧА:\nТвоя задача - расскажи историю. История должна иметь сюжетный поворот. История должна увлекать и захватывать. История должна быть похожа на триллер. Начни рассказывать историю как только человек попросит об этом.",
     "goals": "Рассказывает истории для взрослых."
 }
diff --git a/components.tsv b/components.tsv
@@ -191,6 +191,6 @@
 8185	transformers-mistral-7b-128k
 8186	dff-document-qa-transformers-llm-skill
 8187    gigachat-api
-8188
-8189
+8188    gigachat-pro-api
+8189    gigachat-plus-api
 8190
diff --git a/components/0AJHsfha7fbhadfBsdfg.yml b/components/0AJHsfha7fbhadfBsdfg.yml
@@ -0,0 +1,24 @@
+name: gigachat-plus
+display_name: GigaChat-Plus
+component_type: Generative
+model_type: NN-based
+is_customizable: false
+author: publisher@deeppavlov.ai
+description: The model is suitable for tasks that require processing a large amount of data. 
+  For example, summarizing articles or call transcriptions, extracting information from documents
+ram_usage: 100M
+gpu_usage: null
+group: services
+connector:
+  protocol: http
+  timeout: 120.0
+  url: http://gigachat-plus-api:8189/respond
+dialog_formatter: null
+response_formatter: null
+previous_services: null
+required_previous_services: null
+state_manager_method: null
+tags: null
+endpoint: respond
+service: services/gigachat_api_lm/service_configs/gigachat-plus-api
+date_created: '2023-12-25T09:45:32'
diff --git a/components/0bBDINLSJDnjn1pzf8sdA.yml b/components/0bBDINLSJDnjn1pzf8sdA.yml
@@ -1,5 +1,5 @@
 name: gigachat
-display_name: GigaChat
+display_name: GigaChat Lite
 component_type: Generative
 model_type: NN-based
 is_customizable: false

diff --git a/components/bfb7643iIUUIUGdbivms.yml b/components/bfb7643iIUUIUGdbivms.yml
@@ -5,7 +5,7 @@ model_type: NN-based
 is_customizable: true
 author: publisher@deeppavlov.ai
 description: Этот навык рассказывает сказки для детей, основываясь на запросе пользователя. 
-  Ответы генерируются с помощью модели Russian XGLM 4.5B с использованием промпта-инструкции и предыдущего контекста диалога.
+  Ответы генерируются с помощью модели GigaChat с использованием промпта-инструкции и предыдущего контекста диалога.
 ram_usage: 128M
 gpu_usage: null
 group: skills

diff --git a/components/biod7834IUGiwogk8.yml b/components/biod7834IUGiwogk8.yml
@@ -5,7 +5,7 @@ model_type: NN-based
 is_customizable: true
 author: publisher@deeppavlov.ai
 description: Этот навык рассказывает остросюжетные истории для взрослых, основываясь на запросе пользователя. 
-  Ответы генерируются с помощью модели Russian XGLM 4.5B с использованием промпта-инструкции и предыдущего контекста диалога.
+  Ответы генерируются с помощью модели GigaChat с использованием промпта-инструкции и предыдущего контекста диалога.
 ram_usage: 128M
 gpu_usage: null
 group: skills

diff --git a/components/fnp74878Buiwbkjz8vbw.yml b/components/fnp74878Buiwbkjz8vbw.yml
@@ -5,7 +5,7 @@ model_type: NN-based
 is_customizable: true
 author: publisher@deeppavlov.ai
 description: Этот навык помогает пользователю писать короткие неформальные письма для друзей/семьи. 
-  Ответы генерируются с помощью модели Russian XGLM 4.5B с использованием промпта-инструкции и предыдущего контекста диалога.
+  Ответы генерируются с помощью модели GigaChat с использованием промпта-инструкции и предыдущего контекста диалога.
 ram_usage: 128M
 gpu_usage: null
 group: skills

diff --git a/components/kjdanfigkjyowertfnlkdfg.yml b/components/kjdanfigkjyowertfnlkdfg.yml
@@ -4,7 +4,7 @@ component_type: Generative
 model_type: NN-based
 is_customizable: true
 author: publisher@deeppavlov.ai
-description: Prompt-based skill that utilizes Russian XGLM 4.5B to generate
+description: Prompt-based skill that utilizes GigaChat to generate
   responses based on the given Russian Dream persona description.
 ram_usage: 150M
 gpu_usage: null