如何使用自己的数据集微调MoE-LLaVA

[Tunanzzz]

Question

train.md的脚本只是训练三个阶段的脚本，如何使用自己的数据集微调已经预训练出的第三个阶段的模型

[zhengxingmao]

+1 同问

[CharlieFRuan]

可以复用train.py，然后把比如MoELLaVAStablelmForCausalLM替换成EvalMoELLaVAStablelmForCausalLM，后面就不用initialize_moe_modules()了；然后根据需要来requires_grad_()

[chunhuizng]

可以复用train.py，然后把比如MoELLaVAStablelmForCausalLM替换成EvalMoELLaVAStablelmForCausalLM，后面就不用initialize_moe_modules()了；然后根据需要来requires_grad_()

你好，请问你有相关的已实现的代码可以分享嘛？只是问一下，谢谢！