File tree
843 files changed
+492
-492
lines changed- 01.大语言模型基础
- 1.llm概念
- image
- 1.分词
- image
- 1.激活函数
- image
- 1.语言模型
- 2.jieba分词用法及原理
- image
- 3.词性标注
- 4.句法分析
- image
- 5.词向量
- LLM为什么Decoder only架构
- NLP三大特征抽取器(CNN-RNN-TF)
- image
- NLP面试题
- image
- Word2Vec
- image
- 02.大语言模型架构
- 1.MoE论文
- image
- 1.attention
- image
- 2.MoE经典论文简牍
- image
- 2.layer_normalization
- image
- 3.LLM MoE :Switch Transformers
- image
- 3.位置编码
- image
- 4.tokenize分词
- 5.token及模型参数
- image
- 6.激活函数
- image
- MHA_MQA_GQA
- Transformer架构细节
- image
- bert变种
- image
- bert细节
- image
- chatglm系列模型
- image
- llama 2代码详解
- image
- llama 3
- image
- llama系列模型
- image
- 解码策略(Top-k & Top-p & Temperatu
- image
- 03.训练数据集
- 数据格式
- 04.分布式训练
- 1.显存问题
- image
- 1.概述
- image
- 2.数据并行
- image
- 3.流水线并行
- image
- 4.张量并行
- image
- 5.序列并行
- image
- 6.多维度混合并行
- image
- 7.自动并行
- image
- 8.moe并行
- image
- 9.总结
- image
- deepspeed介绍
- image
- 分布式训练题目
- image
- 05.有监督微调
- 1.基本概念
- image
- 1.微调
- 2.prompting
- image
- 2.预训练
- 3.adapter-tuning
- image
- 4.lora
- image
- 5.总结
- image
- ChatGLM3微调
- llama2微调
- 06.推理
- 0.llm推理框架简单总结
- image
- 1.vllm
- image
- 1.推理
- 2.text_generation_inference
- image
- 3.faster_transformer
- image
- 4.trt_llm
- LLM推理常见参数
- image
- llm推理优化技术
- image
- 07.强化学习
- 1.rlhf相关
- image
- 2.强化学习
- DPO
- image
- 大模型RLHF:PPO原理与源码解读
- image
- 策略梯度(pg)
- image
- 近端策略优化(ppo)
- image
- 08.检索增强rag
- rag(检索增强生成)技术
- image
- 大模型agent技术
- image
- 检索增强llm
- image
- 09.大语言模型评估
- 1.大模型幻觉
- image
- 1.评测
- 2.幻觉来源与缓解
- 10.大语言模型应用
- 1.langchain
- image
- 1.思维链(cot)
- image
- 98.相关课程
- 清华大模型公开课
- 1.NLP&大模型基础
- image
- 2.神经网络基础
- image
- 3.Transformer基础
- image
- 4.Prompt Tuning & Delta Tuning
- image
- 5.高效训练&模型压缩
- image
- 6.文本理解和生成大模型
- image
- 99.参考资料
- docs
- 01.大语言模型基础
- 02.大语言模型架构
- 03.训练数据集
- 04.分布式训练
- 05.有监督微调
- 06.推理
- 07.强化学习
- 08.检索增强rag
- 09.大语言模型评估
- 10.大语言模型应用
- 98.相关课程
- pdf_note
Some content is hidden
Large Commits have some content hidden by default. Use the searchbox below for content that may be hidden.
843 files changed
+492
-492
lines changedFile renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
0 commit comments