[Q&A] 使用cloudflare tunnel 部署时无法流式回应

[wenwen12345]

🧐 问题描述 | Proposed Solution

如题，无法在使用 cloudflare tunnel 部署时使用流式回应

📝 补充信息 | Additional Information

No response

[lobehubbot]

👀 @wenwen12345

Thank you for raising an issue. We will investigate into the matter and get back to you as soon as possible.
Please make sure you have given us as much context as possible.
非常感谢您提交 issue。我们会尽快调查此事，并尽快回复您。 请确保您已经提供了尽可能多的背景信息。

[arvinxx]

看看这个是不是相关问题： #540

[wenwen12345]

oneapi 没有上https 只是 把lobechat暴露了出去

[lobehubbot]

Bot detected the issue body's language is not English, translate it automatically. 👯👭🏻🧑‍🤝‍🧑👫🧑🏿‍🤝‍🧑🏻👩🏾‍🤝‍👨🏿👬🏿

---

oneapi does not go to https, it just exposes lobechat.

[Evsio0n]

与 #540 无关。
参考 cloudflare/cloudflared#199 (comment)
需要加上 text/event-stream header cloudflare才会no proxy buffer

改写nginx反代：

    location /api/openai/chat {
        proxy_pass http://your_backend_service;

        # 添加或更改响应头
+++        add_header Content-Type text/event-stream;

        # 你通常需要关闭缓冲
        proxy_buffering off;

        #其他配置，如websocketset header 等等,
        ......
    }

kubernetes nginx-ingress示例

kind: Ingress
apiVersion: networking.k8s.io/v1
metadata:
  name: lobe-chat-ingress-lsoz4j
  namespace: lobe-chat
  labels:
    app.kubernetes.io/name: lobe-chat
    app.kubernetes.io/version: v1
  annotations:
    nginx.ingress.kubernetes.io/proxy-buffering: 'off'
+++    nginx.ingress.kubernetes.io/configuration-snippet: |
+++      if ($uri ~* "^/api/openai/chat") {
+++        more_set_headers "Content-Type: text/event-stream";
+++      }
...

[Evsio0n]

Notice: 由于api特性发生改变。

请将: /api/openai/chat 改为 /api/chat/openai
其他的llm同理进行更改。

[arvinxx]

@Evsio0n 能不能解释下具体这个是在配置什么？是不是可以通过实现上修改请求本身的 header 来解决呢？

[Evsio0n]

这个问题仅发生在 cloudflared的部署方式上。

cloudflared 是一个tunnel工具，可以直接与cloudflare建立tunnel 并进行反代部署网站/页面。

在 cloudflared 代理的时候, 更改了header, 导致返回的时候 缓存了文字流

我觉得该项目无需进行任何更改。

引用：

cloudflare/cloudflared#199 (comment)

[xqxrrz1ge2]

add_header Content-Type text/event-stream;
在nginx配置里添加了这个之后，浏览器打开后变成了个txt的页面。有解决办法吗？

[Evsio0n]

不需要所有的 request 使用 text/event-stream,仅在使用 /api/chat/* 的服务时使用。

[xqxrrz1ge2]

嗯嗯，我贴一个我现在的location配置， 这个配置下我的流式回应正常了。

    location ~ /api/chat/.* {
        proxy_pass http://127.0.0.1:3210;
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_set_header REMOTE-HOST $remote_addr;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection "upgrade";
        proxy_http_version 1.1;
        # cloudflare tunnel hack: replace original Content-Type
        proxy_hide_header Content-Type;
        add_header Content-Type application/grpc;
        #add_header Content-Type text/event-stream;
        proxy_cache off;  # 关闭缓存
        proxy_buffering off;  # 关闭代理缓冲
        chunked_transfer_encoding on;  # 开启分块传输编码
        tcp_nopush on;  # 开启TCP NOPUSH选项，禁止Nagle算法
        tcp_nodelay on;  # 开启TCP NODELAY选项，禁止延迟ACK算法
        keepalive_timeout 300;  # 设定keep-alive超时时间为65秒
    }

[xqxrrz1ge2]

按照这位兄弟 @xorrvin 的配置成功了

cloudflare/cloudflared#199 (comment)

[lfglfg11]

大佬们，如何使用CF部署lobe啊