无法复现结果

[zyh3826]

batch size: 32
GPU: RTX 2080Ti
torch: 1.7.1
其他都一样，参数用的默认params.json里的，能分享一下你的超参嘛，谢谢

[zyh3826]

结果：

使用transformers=4.4.2训练了40个epoch结果如下：

两者均未达到您的结果

[znsoftm]

新的transformers库不能重现，你这已经算高了。旧的可以轻松达到92%以上，所以怀疑这结果的可信度。 已经排除预训练模型的差异，用了同一个预训练 模型。