本地搭建 LLM Chat 服务

[adoyle-h]

今天 openai 给我发了一封邮件告知封了我的账户。不过好在现在 ChatGPT 的免费或开源替代品很多。也就不在意了。
自己搭了一套运行在本地的 chat 服务。

在这里我用的 ollama 运行 LLM。
用的 LLM 是最近 Meta 公司发布的 llama3 指令微调的量化版本 8b-instruct-q4_K_S。有好多量化版本，不知道哪个效果最好。
web 前端使用的 open-webui。我发现它在今年 1 月支持了 RAG 功能，同时也支持了 PDF 上传和解析。这就比 lobechat 优秀多了。lobechat 缺少 ollama 模型同步功能和 PDF 功能，有点遗憾。
这套运行在 M3 芯片的 Macbook Pro，跑起来无压力，就是稍微有点慢。

[kalxd]

来，放出你的本地链接，让我们试一试效果。

[adoyle-h]

在公共场所放家庭 IP 地址是危险行为。还是自己部署一套吧，在 linux 系统也能部署的。关键是显卡不要太差就行。有 docker 容器，不用配置什么，很容易的。