服务

[Vincent131499]

目前看是本地运行的方式，请问目前是否可以部署成openai的服务吗，使用curl等命令来请求。
感谢回复！

[wangzhaode]

你的意思是部署在服务端，然后通过请求调用吗

[lzyqweasdzxc]

@wangzhaode
大佬 目前我这有这个需求，有什么好的方式部署在服务端吗 感谢

[Vincent131499]

你的意思是部署在服务端，然后通过请求调用吗

是的，希望可以支撑下多并发

[Vincent131499]

这个有规划吗，看llama.cpp提供了一个server，可以支持动态batch，不知道mnn-llm后续有规划吗？
耐心等待回复！

[hyperbolic-c]

@wangzhaode 同上！期待提供server的功能，感谢你们这非常棒的工作。

[hyperbolic-c]

@wangzhaode 同上！期待提供server的功能，感谢你们这非常棒的工作。

[github-actions]

Marking as stale. No activity in 30 days.