swin训练问题

[qiaosuobutouche]

layumi你好，我使用swin进行训练，这是我的参数python train.py --use_swin --ft_Swin_p0.5 --erasing_p 0.5 --batchsize 16，训练20轮，我的显卡是3060laptop，6g显存，为什么loss基本不下降，并且我的val acc一直都是0.0013，不降不减，我不知道哪里出了问题，是epoch太小了么，期待您的回复

[qiaosuobutouche]

当我使用Convnext也遇到了这个问题，train Loss: 6.9570 Acc: 0.0045，val Loss: 6.5936 Acc: 0.0013，Training complete in 5m 17s，损失特别高和acc特别低，10epoch以后train loss只下降了0.0几，请问是什么原因导致的，真的很困扰我

[layumi]

@qiaosuobutouche
你好 ResNet-50的话 会有问题么？ 可以尝试把 lrRate改小一些。 用“--lr”
一般transformer用的lrRate都比 conv 小一些。