Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

AI 代理 Wasm 插件对接腾讯混元大模型 #944

Open
Tracked by #940
CH3CHO opened this issue May 15, 2024 · 10 comments
Open
Tracked by #940

AI 代理 Wasm 插件对接腾讯混元大模型 #944

CH3CHO opened this issue May 15, 2024 · 10 comments
Assignees

Comments

@CH3CHO
Copy link
Collaborator

CH3CHO commented May 15, 2024

https://cloud.tencent.com/document/product/1729

@CH3CHO CH3CHO changed the title 腾讯混元大模型(链接) AI 代理 Wasm 插件对接腾讯混元大模型 May 15, 2024
@CH3CHO CH3CHO added type/enhancement New feature or request area/plugin sig/wasm good first issue Good for newcomers help wanted Extra attention is needed level/normal labels May 15, 2024
@xychen5
Copy link

xychen5 commented May 16, 2024

申领这个任务,麻烦帮忙分配下 @CH3CHO

@johnlanni johnlanni removed the help wanted Extra attention is needed label May 16, 2024
@xychen5
Copy link

xychen5 commented May 24, 2024

在开发的时候遇到一个小问题,混元的api的验证token,需要body和header一起参与计算获得这个token,然后放在header里,在我了解到的目前的proxy-wasm-go-sdk,貌似并未提供这样的策略(也就是headers的处理函数里要获取body的值,但是这不被允许)?@CH3CHO 请问能给一些建议吗?

@CH3CHO
Copy link
Collaborator Author

CH3CHO commented May 24, 2024 via email

@xychen5
Copy link

xychen5 commented May 30, 2024

@CH3CHO hi,我参考了qwen的代码,发现其中forcestreamming参数是写死的true(这导致在onRequestBody并没有实际执行的修改header的代码),我手动改为false,但是发现qwen执行失败,请问您知道是怎么回事吗?

@CH3CHO
Copy link
Collaborator Author

CH3CHO commented May 30, 2024

@CH3CHO hi,我参考了qwen的代码,发现其中forcestreamming参数是写死的true(这导致在onRequestBody并没有实际执行的修改header的代码),我手动改为false,但是发现qwen执行失败,请问您知道是怎么回事吗?

你看的代码不是最新的吧。。。

@xychen5
Copy link

xychen5 commented May 30, 2024

@CH3CHO hi,我参考了qwen的代码,发现其中forcestreamming参数是写死的true(这导致在onRequestBody并没有实际执行的修改header的代码),我手动改为false,但是发现qwen执行失败,请问您知道是怎么回事吗?

你看的代码不是最新的吧。。。

hi,大佬,我参考了你的建议,然后按照https://higress.io/zh-cn/docs/user/wasm-go这篇文档本地测了一下(调通过月之暗面的代码),在测试千问的时候,发现OnRequestBody这个函数没被调用啊?大佬能给点关于这种情况的可能性吗?

@CH3CHO
Copy link
Collaborator Author

CH3CHO commented May 30, 2024

@CH3CHO hi,我参考了qwen的代码,发现其中forcestreamming参数是写死的true(这导致在onRequestBody并没有实际执行的修改header的代码),我手动改为false,但是发现qwen执行失败,请问您知道是怎么回事吗?

你看的代码不是最新的吧。。。

hi,大佬,我参考了你的建议,然后按照https://higress.io/zh-cn/docs/user/wasm-go这篇文档本地测了一下(调通过月之暗面的代码),在测试千问的时候,发现OnRequestBody这个函数没被调用啊?大佬能给点关于这种情况的可能性吗?

要不你先提一个 draft PR 我看看?

@xychen5
Copy link

xychen5 commented May 30, 2024

好的

@xychen5
Copy link

xychen5 commented May 30, 2024

@CH3CHO hi,我参考了qwen的代码,发现其中forcestreamming参数是写死的true(这导致在onRequestBody并没有实际执行的修改header的代码),我手动改为false,但是发现qwen执行失败,请问您知道是怎么回事吗?

你看的代码不是最新的吧。。。

hi,大佬,我参考了你的建议,然后按照https://higress.io/zh-cn/docs/user/wasm-go这篇文档本地测了一下(调通过月之暗面的代码),在测试千问的时候,发现OnRequestBody这个函数没被调用啊?大佬能给点关于这种情况的可能性吗?

要不你先提一个 draft PR 我看看?

等等,大佬,那个draftPR中,是要提供我写的未完成的hunyuan的代码?还是本地测试千问的配置文件呢?

@xychen5
Copy link

xychen5 commented May 30, 2024

@CH3CHO hi,我参考了qwen的代码,发现其中forcestreamming参数是写死的true(这导致在onRequestBody并没有实际执行的修改header的代码),我手动改为false,但是发现qwen执行失败,请问您知道是怎么回事吗?

你看的代码不是最新的吧。。。

hi,大佬,我参考了你的建议,然后按照https://higress.io/zh-cn/docs/user/wasm-go这篇文档本地测了一下(调通过月之暗面的代码),在测试千问的时候,发现OnRequestBody这个函数没被调用啊?大佬能给点关于这种情况的可能性吗?

要不你先提一个 draft PR 我看看?
关于本地测试的pr如下:
#1018

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Projects
None yet
Development

No branches or pull requests

3 participants