【V1.3.3发布】千帆大模型平台产品能力全面升级,文心大模型4.0升级为8K版本!

原创
01/16 19:18
阅读数 24

欢迎大家前往千帆大模型平台进行体验:

https://cloud.baidu.com/product/wenxinworkshop

百度智能云千帆大模型平台_公有云 V1.3.3新功能已于2024年1月11日晚间陆续上线


功能更新要点如下

1、重点功能总结:

  • 计费相关:整体计费详情可点击查看

    https://cloud.baidu.com/doc/WENXINWORKSHOP/s/Blfmc9dlf 

    • ERNIE-Bot 4.0、ERNIE-Bot、ERNIE-Bot-turbo支持预付费tokens资源包形式, 有多种规格。

    • Stable-Diffusion-XL、Qianfan-Chinese-Llama-2-13B、SQLCoder-7B、CodeLlama-7B-Instruct、XuanYuan-70B-Chat-4bit将于1月11日结束免费试用, 开始收费服务。

    • 训练价格做整体调整,降低用户训练成本。


  • 模型服务:

    • 新增ERNIE-Speed,支持私有资源池部署使用:百度自主研发的文心产业级知识增强大语言模型(高性能版),相较ERNIE-Bot-turbo实现了基础模型的全面升级,在理解、生成、逻辑和记忆能力上有显著提升。

    • ERNIE-Bot 4.0由当前4K版本升级为8K版本模型效果不变,更长的Context有利于在文本总结, 代码续写等场景下更好地发挥作用。


  • 训练服务:

    • SFT 增加ERNIE-Speed模型、CodeLlama-7B模型、文心一格大模型;Post-pretrain增加ERNIE-Speed模型


  • Prompt:

    • Prompt优化和评估功能上线云服务API,支持通过API调用产品功能,便于高阶开发者高效使用千帆Prompt工程。


  • 千帆SDK:

    • SDK支持千帆全流程工具链!Cli工具支持Trainer,新增多模型批量请求,兼容ERNIE-Speed推理以及SFT高级参数,上线图生文等API新特性。


功能介绍如下

1、计费相关(请重点关注):整体计费详情可点击查看

https://cloud.baidu.com/doc/WENXINWORKSHOP/s/Blfmc9dlf


  • ERNIE-Bot 4.0、ERNIE-Bot、ERNIE-Bot-turbo支持预付费tokens资源包形式, 有多种规格;

    • 附-Tokens资源包定义:一次性预付费购买一定数量的具备有效期的Tokens资源包,允许购买多个,过期作废。成功购买Tokens资源包后,资源包有效期内使用服务时优先抵扣资源包额度,额度耗尽后自动切换至按服务调用量计费。


  • Stable-Diffusion-XL、

    Qianfan-Chinese-Llama-2-13B、SQLCoder-7B、CodeLlama-7B-Instruct、XuanYuan-70B-Chat-4bit将于1月11日结束免费试用, 开始收费服务;


  • 训练整体调整价格,降低用户训练成本。


2、模型服务

  • ERNIE-Bot 4.0由当前4K版本升级为8K版本,模型效果不变,更长的Context有利于在文本总结, 代码续写等场景下更好地发挥作用。


  • 新增ERNIE-Speed、Mixtral-8x7B、tao-8预置模型服务

    • ERNIE-Speed:百度自主研发的文心产业级知识增强大语言模型(高性能版),相较ERNIE-Bot-turbo实现了基础模型的全面升级,在理解、生成、逻辑和记忆能力上有显著提升。

    • Mixtral-8x7B:由Mistral AI发布的首个高质量稀疏专家混合模型 (MOE),模型由8个70亿参数专家模型组成,在多个基准测试中表现优于Llama-2-70B及GPT3.5,能够处理32K上下文,在代码生成任务中表现尤为优异。

    • tao-8k:长文本向量表示模型,支持8k上下文长度,模型效果在C-MTEB上居前列,是当前最优的中文长文本embeddings模型之一。


  • 模型导入新增根据默认配置文件限制上下文长度。


  • 全平台模型与任务ID规范优化,提高SDK调用安全性。


  • Stable-Diffusion-XL新增支持高分辨率图片生成。



3、训练服务

  • SFT 增加ERNIE-Speed模型、CodeLlama-7B模型、文心一格大模型:

    • CodeLlama-7B:支持多种编程语言,包括Python、Java等的代码编写,帮助用户快速成代码,提高开发效率。

    • ERNIE-Speed:用户可基于ERNIE-Speed训练出具有更强的文本理解、内容创作、对话问答等能力的模型。

    • 文心一格大模型:百度自主研发的跨模态图像生成大模型,创新知识增强的混合专家建模,是全球首个知识增强的AI作画大模型,在语义控制、图像细节、中文理解等方面优势显著。用户可基于文心一格训练出更优质的文生图大模型。


  • Post-pretrain增加ERNIE-Speed模型:

    • ERNIE-Speed:用户可基于ERNIE-Speed训练出更优质的领域/行业大模型。


  • Post-pretrain支持使用Jsonl数据训练,用户可以将所有训练数据统一存放在一个Jsonl文件中。


  • SFT API 增加支持高级参数,用户可通过API方式调整训练的高级参数。


  • SFT训练支持指定测试集,用户可自主配置测试集测试模型效果。


4、Prompt

  • Prompt优化和评估功能上线云服务API,支持通过API调用产品功能,便于高阶开发者高效使用千帆Prompt工程。


5、数据管理

  • 数据清洗新增支持Prompt+Response、Prompt集等数据类型,面向模型精调环节的数据清洗范围更广。


6、预测服务

  • ERNIE-Bot 4.0和ERNIE-Bot支持设置停止标识、开启实时搜索和搜索溯源。


7、API相关

  • 新增管控API可查询服务列表。


  • 千帆推理服务支持百度智能云基于安全认证AK/SK签名计算认证,无需再创建应用进行鉴权调用,提升用户体验和调用效率。


8、千帆SDK

千帆SDK当前已经开源到Github,并将持续更新迭代,欢迎各位使用订阅,如果有任何问题可以在Github提出!

请大家点击链接并加🌟:

http://github.com/baidubce/bce-qianfan-sdk
  • Resource
    • requestor优化重试机制,增加可配置重试策略

    • 文生图SD新增超参

    • iam鉴权统一

    • 模型管理-创建模型评估任务入参优化

    • 增加可配置随机重试/指数回避重试,增加可配置错误码重试

    • 增加Service.list 用于查询服务列表

    • 加入请求Latency 统计,ChatCompletion、Completion stream增加首Token 时延

    • ebturbo新增tool、tool_choice,支持baidu_search

    • EB3.5,4.0新增tool_choice

    • 新增Yi_34B_Chat,ERNIE-speed 预置ChatCompletion 服务

    • 对齐API model值(EB-turbo-AppBuilder、ERNIE-Bot-8K)

    • Plugin增加一言插件支持(eChart、ChatFile、ImageAI)

    • embedding新增tao-8k


  • Dataset

    • 加入 test_using_llm 方法,允许用户直接在特定数据集上使用 Model 或者 Service 对象运行

    • 支持异步清洗

    • 优化批量刷库性能,能够match实际设定的QPS

    • 优化错误重试

    • 增加刷库日志

  • Model & Service

    • 添加 batch_inference 方法


  • Trainer

    • 支持ERNIE-Bot-turbor-0922,0516即将下线,支持更多训练参数

    • Action 适配 Evaluation

    • LLMFinetune接入Evaluation


  • Evaluation

    • Evaluation 基础框架上线

    • 支持千帆平台评估


  • Tool

    • 转换 from Langchain to Tool

    • ebturbo搜索增强Tool

    • baidu_search 搜索增强tool


  • Cli

    • 新增命令行工具qianfan

    • 支持chat/completion/text2image

    • 支持dataset up/down

    • 支持dataset批量刷库

    • 新增model list

    • 新增dataset up/down

    • 新增dataset 批量刷库

    • 新增trainer 发起任务


  • cookbook

    • 增加finetune数据多轮对话样例

    • 新增evaluation cookbook

    • dataset cookbook 增加Model批量推理示例


本文分享自微信公众号 - 百度开发者中心(baidudev)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

展开阅读全文
加载中
点击引领话题📣 发布并加入讨论🔥
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部