Releases: Tongjilibo/bert4torch
Releases · Tongjilibo/bert4torch
稳定版本v0.5.0
bug修复
- 修复chatglm3的bug
- 修复save_pretrained时多文件的bug
- 修改Text2Vec的bug
新增小功能
- 增加CausalLMLoss
- 修改deepspeed的传参逻辑
- 完善openai client
- 增加get_weight_decay_optim_groups
稳定版本v0.4.9.post2
bug修复
- 修改repetition_penalty的bug
- 修复config_path的bug
功能优化
- attention中允许is_causal
- 把baichuan从llama中剥离
新增功能
- 增加get_weight_decay_optim_groups函数
- 允许num_key_value_heads参数
- torch4keras-v0.2.1更新特性
稳定版本v0.4.8
- 🔥build_transformer_model允许从hf下载
- fastapi发布服务允许闲时offload到cpu
- 添加FillMask的pipeline
- 添加SequenceClassificationTrainer
稳定版本v0.4.7
- 修改
save_pretrained
用于保存文件夹 - 增加GenerateSpeed用于统计token生成速度
- 修复t5在use_states=True时候的错误
- 修改层次编码的bug
- 增加deepseek_moe模型
- 修复generation并发错误,优化大模型耗时
稳定版本v0.4.6
- bug修复
- 增加
save_pretrained
用于保存transformer
格式的权重, - 增加部分
embedding
模型
稳定版本v0.4.5
training
时候不生成past_key_values
- 增加
streamlit
的example - 修复句向量
max
时的bug batch_generate
合并到generate
- 修改
generation
的默认参数名(兼容过去的参数名) - 多轮对话中可保留
past_key_values
- 把
attention
中的mask
补齐逻辑移到apply_embedding
中 - 增加
uie
的pipeline
- 增加
PtuningV2Trainer
稳定版本v0.4.4
- 新增pipelines模块,把chat整理进去
- 并新增Text2Vec模块用于向量生成
- 新增snapshot_download用于hf模型下载
稳定版本v0.4.3
在chat
中增加常见chat模型, 简化大模型调用的代码逻辑
稳定版本v0.4.2
- 参数checkpoint_path支持传入文件夹地址
- 增加chat模块用于快速发布demo/api
- 支持加载.safetensors
- meta的device提示报错
稳定版本v0.4.1
- 增加longlora
- 增加test模块
- 适配torch4keras==0.1.6(监控fit过程,有报错则发送邮件提醒; 解决torch2.0的compile冲突问题; 修复clip_grad_norm的bug)