Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

如何能联系到您呢?qq群加不进去,有关于epoch和bart做seq2seq方面的问题想请教一下> > 您好 在不断降低学习率之后loss还是卡在原来的位置,请问如何能与您取得联系? #56

Open
chenzelong opened this issue Apr 15, 2022 · 5 comments

Comments

@chenzelong
Copy link

您好 在不断降低学习率之后loss还是卡在原来的位置,请问如何能与您取得联系?

我的也是,训练到第三个epoch,再往后loss就不变了,请问你解决了吗?

应该解决了,后来他加我微信了。

Originally posted by @920232796 in #7 (comment)

@yc930401
Copy link

学习率设置多少合适呀?我这loss一直不降

@920232796
Copy link
Owner

学习率设置多少合适呀?我这loss一直不降

一般1e-5即可,如果loss不下降甚至升高,考虑是不是代码哪里出问题了。

@yc930401
Copy link

谢谢,可是代码我没改呀,只有加载数据部分稍作改动。

@920232796
Copy link
Owner

谢谢,可是代码我没改呀,只有加载数据部分稍作改动。

什么任务,哪个模型,而且你得打印下 确保输入输出是没问题的,并且看下验证的过程,看看是否能正常预测,不排除有时候某些模型loss确实是不会变化太大,但是能预测的很好。

@yc930401
Copy link

输入输出都没问题,模型训练过程中每N个step输出一下test_data的结果,看着也还可以。我试了3个模型,gpt2、roberta、bart,都是loss越来越大。我再调调参数吧~谢谢啦

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

3 participants