Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

在cloudflare配置后,在chatbox端或者next web使用,回复不完整,不超过20个 #16

Open
ychappyboy opened this issue Jul 3, 2023 · 21 comments

Comments

@ychappyboy
Copy link

有时候直接失去响应,是什么原因啊,谢谢!

@jtsang4
Copy link
Owner

jtsang4 commented Jul 4, 2023

是不是输入内容过长,cloudfalre 单词响应时间是有限制的,可以在本地用 docker 部署一个版本测试一下

@ychappyboy
Copy link
Author

谢谢大神回复。输入内容并不长,就是一句话,而且我还购买了cloudflare worker的升级服务,简单设置过openai反代没问题,应该不是响应限制的问题,貌似反馈回来只有一部分数据,流就不继续输出了。

@ychappyboy
Copy link
Author

刚刚咨询了一个朋友,他说转换没问题,但是6月1日claude官方更新了API版本,有些前端不适应,可能包括这两个吧,是不是还有其他可适配的前端啊

@cwyalpha
Copy link

cwyalpha commented Jul 4, 2023

同是这个问题,之前输入100k文本还行,现在动不动无回复。

@jtsang4
Copy link
Owner

jtsang4 commented Jul 4, 2023

@ychappyboy @cwyalpha 可以直接用 curl 命令行调用下部署的 API 试试,调用方式和 OpenAI API 一样,比如:

curl --request POST \
  --url https://<你的域名>/v1/chat/completions \
  --header 'Authorization: Bearer <你的 token>' \
  --header 'Content-Type: application/json' \
  --data '{
  "messages": [
    {
      "content": "<你的问题>",
      "role": "system"
    }
  ],
  "temperature": 0.7,
  "model": "gpt-3.5-turbo",
  "max_tokens": 2048,
  "stream": true
}'

我自己目前主要用 Chatbox@0.5.2 版本作为客户端,因为它支持无限长 token

@gdlbu
Copy link

gdlbu commented Jul 5, 2023

这个问题貌似有一个月了,我用chatgpt next web调用一直出问题。
会不会是Claude或openAI的API格式放生了变化,造成不兼容?

刚才试了下chatbox 0.5.2、0.5.6、web版,都有问题,很难吐出字来

@jtsang4
Copy link
Owner

jtsang4 commented Jul 5, 2023

这个问题貌似有一个月了,我用chatgpt next web调用一直出问题。 会不会是Claude或openAI的API格式放生了变化,造成不兼容?

刚才试了下chatbox 0.5.2、0.5.6、web版,都有问题,很难吐出字来

是 Cloudflare 版本还是 Docker 部署的版本?我自己用的 Docker 版本一直没问题

@gdlbu
Copy link

gdlbu commented Jul 5, 2023

这个问题貌似有一个月了,我用chatgpt next web调用一直出问题。 会不会是Claude或openAI的API格式放生了变化,造成不兼容?
刚才试了下chatbox 0.5.2、0.5.6、web版,都有问题,很难吐出字来

是 Cloudflare 版本还是 Docker 部署的版本?我自己用的 Docker 版本一直没问题

Cloudflare,直接copy你的js。以前是没问题的,就是6月份开始出问题

@cwyalpha
Copy link

cwyalpha commented Jul 5, 2023

这个问题貌似有一个月了,我用chatgpt next web调用一直出问题。 会不会是Claude或openAI的API格式放生了变化,造成不兼容?

刚才试了下chatbox 0.5.2、0.5.6、web版,都有问题,很难吐出字来

同样的,使用chatbox、next web,也都是6月开始出问题,之前100k文本都没问题

@JamesFlare1212
Copy link
Contributor

我在 #10 中提到和修正了 Docker 版的这个问题。本质是 Workers 免费版给了每个子请求 10ms 的 CPU 时间,而长回答自然等不及。一种思路是分块,但是显然 Claude 行不通,那只能充钱升级 50ms 了,但最好的情况也就多 5 倍,有要求还是使用 Docker 版本吧,如果小范围测试可以用我这个。 https://claude-to-chatgpt.jamesflare.com。不过即便是这样,单次回答官方限制了差不多 7.5k-10k Token 的一个长度。

@ychappyboy
Copy link
Author

我在 #10 中提到和修正了 Docker 版的这个问题。本质是 Workers 免费版给了每个子请求 10ms 的 CPU 时间,而长回答自然等不及。一种思路是分块,但是显然 Claude 行不通,那只能充钱升级 50ms 了,但最好的情况也就多 5 倍,有要求还是使用 Docker 版本吧,如果小范围测试可以用我这个。 https://claude-to-chatgpt.jamesflare.com。不过即便是这样,单次回答官方限制了差不多 7.5k-10k Token 的一个长度。

我使用你的api接口,速度很快啊,可以分享一下cloudflare-worker.js吗,还有cloudflare中使用量模型和放置是如何设置的吗,谢谢大神!

@gdlbu
Copy link

gdlbu commented Jul 7, 2023

诡异的是以前没有这问题啊,6月份才发生。免费版、代码都没变,难道API变了?

@jtsang4
Copy link
Owner

jtsang4 commented Jul 11, 2023

诡异的是以前没有这问题啊,6月份才发生。免费版、代码都没变,难道API变了?

也许和 6 月 1 号后请求头增加了 anthropic-version 有关,目前已增加此请求头并支持 claude-2 模型,可以再试试

@gdlbu
Copy link

gdlbu commented Jul 12, 2023

诡异的是以前没有这问题啊,6月份才发生。免费版、代码都没变,难道API变了?

也许和 6 月 1 号后请求头增加了 anthropic-version 有关,目前已增加此请求头并支持 claude-2 模型,可以再试试

多谢大佬彻夜修改!刚才试了一下cloudflare,问题依然存在

@jtsang4
Copy link
Owner

jtsang4 commented Jul 12, 2023

诡异的是以前没有这问题啊,6月份才发生。免费版、代码都没变,难道API变了?

也许和 6 月 1 号后请求头增加了 anthropic-version 有关,目前已增加此请求头并支持 claude-2 模型,可以再试试

多谢大佬彻夜修改!刚才试了一下cloudflare,问题依然存在

也许是 CloudFlare Worker 变了,现在可能很严格地控制返回要在 10ms 以内,我自己试了下也有问题……这种情况还是推荐用 docker 部署了

@Jialinvip
Copy link

应该不是10ms的CPU时间限制,CF里面可以看到CPU中值时间不超1ms,也就大多请求都不会超过1ms,我换到deno.com部署也是一样只输出20个字左右就停止了。希望能找出问题修复,谢谢!

@happychos
Copy link

改了一下应该可以了,但我的API被封了....,谁可以生成一个api分享我再详细测试下,感激不尽,邮箱ychappyboy@gmail.com
测试api host:https://testapi.sunnystream.stream

@aistart
Copy link

aistart commented Sep 26, 2023

现在直接使用Cloudflare copy 那个文件内容,仍是老问题。看[Jialinvip] commented [on Jul 18]分析的有道理,不知最终是否能解决Cloudflare的问题?

@Bloomberg-zhong
Copy link

@ jtsang4
next web 现在必须要API支持查询余额,所以老板什么时候修复一下?
image
ChatGPTNextWeb/ChatGPT-Next-Web#1938

@jtsang4
Copy link
Owner

jtsang4 commented Oct 9, 2023

@ jtsang4 next web 现在必须要API支持查询余额,所以老板什么时候修复一下? image Yidadaa/ChatGPT-Next-Web#1938

这个应该可以传递 HIDE_BALANCE_QUERY 来避免开启余额查询功能。

@jtsang4
Copy link
Owner

jtsang4 commented Nov 29, 2023

感谢 #27 的贡献,可以再尝试一下

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

9 participants