Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

关于模型结果不能眨眼的问题 #53

Open
echo1993in opened this issue Mar 2, 2023 · 1 comment
Open

关于模型结果不能眨眼的问题 #53

echo1993in opened this issue Mar 2, 2023 · 1 comment

Comments

@echo1993in
Copy link

我训练了一个256分辨率的模型,同时用了相应的stylegan,pspencoder,dualstylegan,这几个模型的单独效果都是ok的。
在训练vtoonify中,我修改了部分代码,directions是基于1024stylegan的,我注释掉了这部分的latent的变换。
xc, _ = g_ema.stylegan()([wc], input_is_latent=True, truncation=0.5, truncation_latent=0)
这个xc作为realoutput,是不是因为这个用dualstylegan生成的风格图没用闭眼的情况所以导致了最后vtoonify不能应对闭眼的图像?

我单独测试pspencoder,对闭眼图像还原的还是可以的,但是dualstylegan对闭眼图像的风格化,不能生成闭眼的图像。

@williamyang1991
Copy link
Owner

这就是data bias问题。

一个原因是directions注释掉后,训练集就没有闭眼的输入了
还有一个原因是训练dualstylegan风格化的数据集大概率也是没有闭眼数据
所以dualstylegan不能生成闭眼的图像,vtoonify既没见过闭眼的真人数据也没见过闭眼的卡通数据,因此就处理不了这个问题。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

2 participants