We read every piece of feedback, and take your input very seriously.
To see all available qualifiers, see our documentation.
Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.
By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.
Already on GitHub? Sign in to your account
我写了prompt,要求输出按照某种固定格式,prompt提供了推理。在chatglm2低并发的时候比较稳定,随着并发越高,格式就很飘。然后测试了并发从2到40,loss的差异很大。然后想着调整frequency_penalty和 temperature测试,发现调整都会影响,不太好估计是具体哪个参数怎么影响。想要了解下高并发的情况下,参数如何设置建议,可以保证输出比较稳定。
The text was updated successfully, but these errors were encountered:
因为就目前的测试来看,其他推理框架有时也有类似的现象。还需要定位是不是算子方面带来的精度问题。这个会提升优先级来分析。
Sorry, something went wrong.
@GavinZhao19 解决了一些丢token的问题,输出变化的问题还在继续研究 #216
非常感谢👍持续关注
@GavinZhao19 最近定位到了最本质的问题,是一些算子在某些场景下会有一些精度误差。但是如果结果变化剧烈,可能模型本生的鲁棒性也有一定问题。
No branches or pull requests
我写了prompt,要求输出按照某种固定格式,prompt提供了推理。在chatglm2低并发的时候比较稳定,随着并发越高,格式就很飘。然后测试了并发从2到40,loss的差异很大。然后想着调整frequency_penalty和 temperature测试,发现调整都会影响,不太好估计是具体哪个参数怎么影响。想要了解下高并发的情况下,参数如何设置建议,可以保证输出比较稳定。
The text was updated successfully, but these errors were encountered: