可不可以基于预训练代码进行原始Llama2（原始tokenizer-32000长度）的（英文）增量预训练？

[Luobots]

在Chinese-LLaMA-Alpaca(-1)项目中，wiki表格提供了此选项，而本项目中未提供，我仔细对比了1和2的代码，发现除了校验词表大小外，别的代码并没有很大改动，如果把校验代码删除后，应该也能基于预训练代码，对原始的llama2进行增量预训练？
我的担心是：是否有一些我没发现的改动，导致不能支持原始llama2基于原始词表大小预训练。

[airaria]

可以。