generated from JetBrains/intellij-platform-plugin-template
New issue
Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.
By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.
Already on GitHub? Sign in to your account
Llama.cpp 上运行问题 #166
Comments
看上去像是你的模型 server 有问题,估计需要你的对应实现是否是标准 SSE 。 |
一进对java很排斥,也帮不上忙,只能接着等了 |
你说的问题,别人都没遇到过……。可能你需要提供更详细的信息,比如操作系统版本,IDE 版本等等。 |
该搞个群,能上传上视频,一看就清楚了,有问题也好反馈 |
是模型的问题,估计是llama.cpp没有适配结束符,不搞了,换成qwen就好了 |
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Describe the bug
我不知道在idea上是不是运行良好,但是在goland和clion上基本无法正常使用,我自己本地的模型,试了好多都是输出正常,但是无法结束,结尾会无限输出,问一个问题要重启一下IDE,1.8.3中添加的停止按钮也不能停止它,点击停止后界面是停了,但是GPU还在算,不过调用API好像没这问题,我没怎么试.
还有就是输出如果太长的话滚动条会定死在一个点,往下滑或者往上滑都会自动滚回原来的点;不等他输出完你就看不到下边的内容,但是它又不会停止,只能停掉server才能看到全部,然后再启动它; 我的server用的是llama.cpp
The text was updated successfully, but these errors were encountered: