数据并行数 × epoch数 = 真实的epoch数?

[bobo0810]

每个gpu上的dataloader都是完整的数据集，未做拆分。 即epoch=3 gpu=2时仅数据并行，模型实际上过了6遍数据集。

engine, train_dataloader, val_dataloader, _ = colossalai.initialize(
        model,
        optimizer,
        criterion,
        train_dataloader,
        val_dataloader,
    )

[binmakeswell]

Hi @bobo0810 如果是PyTorch正常dataloader提供给Colossal，会被自动转成DistributedSampler。每个GPU各自处理一部分数据，共同完成整个数据集的epoch。epoch=3是3遍数据集。

[bobo0810]

Hi @bobo0810 如果是PyTorch正常dataloader提供给Colossal，会被自动转成DistributedSampler。每个GPU各自处理一部分数据，共同完成整个数据集的epoch。epoch=3是3遍数据集。

Hi @binmakeswell
数据并行=2 epoch=3,理论上每张图片只出现3次，但从日志上看 每轮epoch出现2次，共出现6次。

启动命令colossalai run --nproc_per_node 2 train.py --epochs 3

代码

日志