KnowLM基于Llama的针对知识抽取的智析大模型

[ziwang-com]

https://github.com/zjunlp/KnowLM
KnowLM基于Llama的针对知识抽取的智析大模型

随着深度学习技术的快速发展，大型语言模型如ChatGPT在自然语言处理领域已经取得了显著的成就。然而，这些大型模型在学习和理解知识方面仍然存在一些挑战和问题，包括知识更新的困难，以及模型中潜在的错误和偏差等知识谬误问题。KnowLM项目旨在发布开源大模型框架及相应模型权重以助力减轻知识谬误问题。

本项目一期发布了基于Llama的针对知识抽取的智析大模型。为了提供中文能力且不破坏原来模型的分布，本项目首先（1）使用中文语料首先对LLaMA（13B）进行进一步全量预训练，在尽可能保留原来的英文和代码能力的前提下，进一步提高模型对于中文理解能力和丰富模型的知识储备；接着（2）使用指令数据集对第一步的模型微调，来提高语言模型对于人类抽取指令的理解。

❗请注意本项目仍在优化中，模型权重会定期更新，并迭代支持新功能、新模型！
本项目的特点如下：

围绕知识和大模型，用构建的中英双语预训练语料对大模型如LLaMA进行全量预训练
基于知识图谱转换指令技术对知识抽取任务，包括NER、RE、IE进行优化，可以使用人类指令来完成信息抽取任务
用构建的中文指令数据集（约1400K条样本），使用LoRA微调，提高模型对于人类指令的理解
开源了预训练模型的权重、指令微调的LoRA权重
开源了全量预训练脚本（提供大型语料的转换、构建和加载）和LoRA指令微调脚本（支持多机多卡）
所有权重均已上传🤗HuggingFace。需要注意的是，下面的所有效果均是以ZhiXi-13B-Diff为基础的，如果下载的是ZhiXi-13B-Diff-fp16，效果可能会存在出入！