MFTCoder 重磅升级v0.5.0发布,支持SST加训与DPO

01/21 16:52
阅读数 32

CodeFuse 在 2023 年 9 月开源了一种多任务微调框架——MFTCoder,它可以实现在多个任务上同时并行地进行微调。通过结合多种损失函数,我们有效地解决了多任务学习中常见的任务间数据量不平衡、难易不一和收敛速度不一致等挑战。大量实验结果显示,相较于单独对单个任务进行微调或者多任务混合为一后进行微调,我们的多任务微调方法表现更优。


此外,MFTCoder 具备高效训练特征,包括提供高效的数据 Tokenization 模式,支持 PEFT 微调和全量微调,能有效提升微调训练速度并降低对资源的需求。MFTCoder 是轻量的、简单清晰的、易于二次开发的、持续跟进 Cutting-Edge 技术的开源微调框架。


目前 MFTCoder 迭代到了 v0.5.0 版本, 新增了对 SST continue train、offline tokenization、DPO 等支持,可以进行预训练加训与强化对齐。


新升级代码也已经开源到了GitHub:https://github.com/codefuse-ai/MFTCoder/tree/main/mftcoder_accelerate



MFTCoder v0.5.0 新增功能


  • 新增 xxpo 模块支持 DPO/RPO/ORPO 等偏好对齐方法,可用于强化对齐。

  • 新增 mpt 模块支持全量参数 SST 加训。

  • 新增离线 tokenizer 模块支持预训练数据tokenization。

  • 更新 self-paced 均衡 loss 到新的收敛均衡 loss CoBa。

  • 新版本已经适配到 transformers v4.44.2,因此也支持了众多新的开源模型。


当前, MFTCoder 已适配支持更多的主流开源 LLMs,如Qwen2, Qwen2-moe, Gemma, Starcoder2, Mixtral、Mistral、Deepseek、 Llama、CodeLlama、Qwen、CodeGeeX2、StarCoder、Baichuan2、ChatGLM2/3、GPT-Neox 等。


更多 MFTCoder 相关内容详见:


MFTCoder 详细介绍见公众号文章:

干货!MFTCoder 论文多任务微调技术详解



MFTCoder 技术细节论文已被顶会 KDD 2024 (ADS) 接收:https://arxiv.org/pdf/2311.02303.pdf



MFTCoder 多任务收敛均衡方法 CoBa 已被顶会EMNLP 2024收录:https://arxiv.org/pdf/2410.06741



联系我们


MFTCoder 最新版本 v0.5.0 已经开源,感兴趣的同学可以用版本 tag 或者持续跟踪 main 分支,本文中提到的模型和数据集也在陆续开源中,如果您喜欢我们的工作,欢迎试用、指正错误和贡献代码,。任何贡献我们都会非常欢迎,详见Contribution Guide(https://codefuse.ai/contribution/contribution)


  • GitHub项目主页:https://github.com/codefuse-ai/MFTCoder

  • HuggingFace主页:https://huggingface.co/codefuse-ai

  • 魔搭社区主页:https://modelscope.cn/organization/codefuse-ai


如果你喜欢我们的项目,欢迎在 GitHub 上为我们点亮!


star+1

star+1

star+1


如果您想更快地获取到最新信息

欢迎加入我们的微信群








企业用户如有需求,加入群聊时还可私聊“CodeFuse服务助手”联系解决方案专家~


往期回顾

1

开源|MFTCoder论文被KDD 2024接收,开源v0.4.2版发布

2

MFTCoder重磅升级v0.3.0发布,支持Mixtral等更多模型,支持收敛均衡, 支持FSDP

3

干货!MFTCoder论文多任务微调技术详解


展开阅读全文
加载中
点击引领话题📣 发布并加入讨论🔥
0 评论
0 收藏
0
分享
返回顶部
顶部