CodeFuse 在 2023 年 9 月开源了一种多任务微调框架——MFTCoder,它可以实现在多个任务上同时并行地进行微调。通过结合多种损失函数,我们有效地解决了多任务学习中常见的任务间数据量不平衡、难易不一和收敛速度不一致等挑战。大量实验结果显示,相较于单独对单个任务进行微调或者多任务混合为一后进行微调,我们的多任务微调方法表现更优。
此外,MFTCoder 具备高效训练特征,包括提供高效的数据 Tokenization 模式,支持 PEFT 微调和全量微调,能有效提升微调训练速度并降低对资源的需求。MFTCoder 是轻量的、简单清晰的、易于二次开发的、持续跟进 Cutting-Edge 技术的开源微调框架。
目前 MFTCoder 迭代到了 v0.5.0 版本, 新增了对 SST continue train、offline tokenization、DPO 等支持,可以进行预训练加训与强化对齐。
新升级代码也已经开源到了GitHub:https://github.com/codefuse-ai/MFTCoder/tree/main/mftcoder_accelerate
MFTCoder v0.5.0 新增功能
新增 xxpo 模块支持 DPO/RPO/ORPO 等偏好对齐方法,可用于强化对齐。
新增 mpt 模块支持全量参数 SST 加训。
新增离线 tokenizer 模块支持预训练数据tokenization。
更新 self-paced 均衡 loss 到新的收敛均衡 loss CoBa。
新版本已经适配到 transformers v4.44.2,因此也支持了众多新的开源模型。
当前, MFTCoder 已适配支持更多的主流开源 LLMs,如Qwen2, Qwen2-moe, Gemma, Starcoder2, Mixtral、Mistral、Deepseek、 Llama、CodeLlama、Qwen、CodeGeeX2、StarCoder、Baichuan2、ChatGLM2/3、GPT-Neox 等。
更多 MFTCoder 相关内容详见:
MFTCoder 详细介绍见公众号文章:
MFTCoder 技术细节论文已被顶会 KDD 2024 (ADS) 接收:https://arxiv.org/pdf/2311.02303.pdf
MFTCoder 多任务收敛均衡方法 CoBa 已被顶会EMNLP 2024收录:https://arxiv.org/pdf/2410.06741
联系我们
MFTCoder 最新版本 v0.5.0 已经开源,感兴趣的同学可以用版本 tag 或者持续跟踪 main 分支,本文中提到的模型和数据集也在陆续开源中,如果您喜欢我们的工作,欢迎试用、指正错误和贡献代码,。任何贡献我们都会非常欢迎,详见Contribution Guide(https://codefuse.ai/contribution/contribution)
GitHub项目主页:https://github.com/codefuse-ai/MFTCoder
HuggingFace主页:https://huggingface.co/codefuse-ai
魔搭社区主页:https://modelscope.cn/organization/codefuse-ai
如果你喜欢我们的项目,欢迎在 GitHub 上为我们点亮!
star+1
star+1
star+1
如果您想更快地获取到最新信息
欢迎加入我们的微信群
企业用户如有需求,加入群聊时还可私聊“CodeFuse服务助手”联系解决方案专家~
往期回顾
1 |
|
2 |
|
3 |