Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

关于在sims和simsv2数据集上的复现结果问题 #103

Open
hustcselwb opened this issue Apr 19, 2024 · 2 comments
Open

关于在sims和simsv2数据集上的复现结果问题 #103

hustcselwb opened this issue Apr 19, 2024 · 2 comments

Comments

@hustcselwb
Copy link

请问一下为什么一些新的模型比如cenet,tetfn这些模型在sims和simsv2上的变现还不如以前很早的模型的结果呢,是和语言表示有关系吗?还有就是对于results中在sims和simsv2上的结果是作者自己复现的吗,论文中并没有给出相关模型在这两个数据集上的结果

@Columbine21
Copy link
Collaborator

你好,仓库里面所有模型都是在相同环境下复现的结果(肯定是与原论文结果有一定差异)。

关于 tetfn 模型由于本身论文的仓库并没有开源,提供的复现模型效果仅供参考,如果模型结构与原论文有差异,可以直接issue我们或者pull request。
关于 cenet 模型,我们与原论文在使用的特征层上有差异(Feature transformation strategy 在集成的方法中没有采用,这种方法事实上可以加到任何方法上,为了公平对比,本仓库没有使用,但我们认为并不是主要影响),文本模态编码方式我们是用了bert(可能为主要原因,参考原论文中,mag-bert和mag-sentiLARE对比)。

如果同学认为能纠正、调试等手段改进复现效果。欢迎 issue / pull request 🙏

@hustcselwb
Copy link
Author

好的,感谢您百忙之中抽空回答我的问题,您回复的很清楚,我想问您一下您在mosei数据集上的cenet的结果是不是使用的文本特征是sentiLARE提取的,所以分数会较高,因为cenet原论文也没有提供bert编码的效果。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

2 participants