使用text-generation-webui代替openai的接口会报接口错误

[guozanhua218]

chat error: [Errno 10061] Connect call failed ('127.0.0.1', 5005)
ws://127.0.0.1:5005/api/v1/stream

这个对应text-generation-webui的正确配置是什么？能否说明一下

[yakami129]

在FAQ中有说明，支持私有化模型，需要安装text-generation-webui，并且开启api插件

[guozanhua218]

12:45:07-652219 INFO Starting Text generation web UI
12:45:07-655731 WARNING
You are potentially exposing the web UI to the entire internet without any access
password.
You can create one with the "--gradio-auth" flag like this:

                     --gradio-auth username:password

                     Make sure to replace username:password with your own.

12:45:07-657975 INFO Loading the extension "openai"
12:45:07-745587 INFO OpenAI-compatible API URL:

                     http://0.0.0.0:5000

12:45:07-746943 INFO Loading the extension "gallery"
Running on local URL: http://0.0.0.0:7860

我本地部署了text-generation-webui

[guozanhua218]

我知道原因了，应该text-generation-webui的版本的问题，能否告知兼容text-generation-webui的哪个版本？新版本的接口已经调整了

[guozanhua218]

在FAQ中有说明，支持私有化模型，需要安装text-generation-webui，并且开启api插件

能否说明你使用text-generation-webui的版本号

[yakami129]

我之前fork的https://github.com/yakami129/text-generation-webui