尝试用FastAPI代理 chinese-mixtral-instruct 遇到了些问题

[boboyunz]

非常喜欢你的项目
https://github.com/ymcui/Chinese-Mixtral
我用LocalAI 配合 chinese-mixtral-instruct-gguf/ggml-model-q5_k.gguf
运行效果很好，
希望通过FastAPI 能运行 chinese-mixtral-instruct
自己参照以下代码改造 遇到了不少问题
Chinese-LLaMA-Alpaca-2/scripts/openai_server_demo/openai_api_server.py
非常感谢 期望得到您的回信
31433611@qq.com