社区供稿 | 元象通用大模型 XVERSE-13B 发布Chat版本

2023/09/28 18:00
阅读数 39

元象多语言通用大模型 XVERSE-13B 自 8 月 7 日开源以来广受关注,为促进大模型在垂直领域和特定任务的应用,方便开发者快速高效地定制化调优,元象宣布推出 XVERSE-13B-Chat 版,继续开源,并可免费商用。


 开源信息 

Hugging Face:

https://huggingface.co/xverse/XVERSE-13B-Chat

Github:
https://github.com/xverse-ai/XVERSE-13B

联系邮箱:opensource@xverse.cn


XVERSE-13B 是同尺寸中效果最好的多语言大模型系列 ,性能超越 Llama-2-13B、Baichuan-13B-Chat 等国内外开源代表(图一),凭借高性能、全开源、可商用等优势,是国产替代和中文应用的更佳选择。

图一:XVERSE-13B 系列使用 five shot 方法测试 

在各项中英文权威测评中持续领先


此次 Chat 版通过底座指令精调(Supervised Fine-tuning,简称 SFT ),使大模型在理解和生成上更加精准流畅,基础性能显著提升,比如 MMLU英文(+9%)、 AGIEval 中英(+17%)、GAOKAO-En 英文(+21%)等数据集效果优异。它还补齐了多个指令场景能力,用途更广包括角色扮演、知识问答、文本生成、编程、数学解答和安全性等。


  多场景示例

角色扮演


知识问答


文本生成

语言理解


安全性

  使用教程


环境安装

1. 下载本仓库:
   
   
   
git clone https://github.com/xverse-ai/XVERSE-13B cd XVERSE-13B
2. 使用 pip 安装依赖:
   
   
   
pip install -r requirements.txt
Transformers 加载方式

可通过以下代码加载 Chat 版对话:
>>>import torch>>> from transformers import AutoTokenizer, AutoModelForCausalLM>>> from transformers.generation.utils import GenerationConfig>>> model_path ="xverse/XVERSE-13B-Chat">>> tokenizer = AutoTokenizer.from_pretrained(model_path)>>> model = AutoModelForCausalLM.from_pretrained(model_path, trust_remote_code=True, torch_dtype=torch.bfloat16, device_map='auto')>>> model.generation_config = GenerationConfig.from_pretrained(model_path)>>> model = model.eval()>>>history=[{"role":"user", "content":"1955年谁是美国总统?他是什么党派?"}]>>> response = model.chat(tokenizer, history)>>> print(response)1955年,美国总统是德怀特·D·艾森豪威尔。他所属的党派是共和党。>>> history.append({"role":"assistant", "content": response})>>> history.append({"role":"user", "content":"他任职了多少年"})>>> response = model.chat(tokenizer, history)>>> print(response)德怀特·D·艾森豪威尔在1953年至1961年间担任美国总统,所以他一共任职了8年。
通过以下代码启动一个web server,在浏览器输入访问地址后,可使用 Chat 版对话:
   
   
   
python chat_demo.py --port='port' --model_path='/path/to/model/' --tokenizer_path='/path/to/tokenizer/'

 

  模型量化

支持 INT8  INT4 类型量化,可以大幅降低模型加载所需显存。
INT8 量化:
   
   
   
model = AutoModelForCausalLM.from_pretrained("xverse/XVERSE-13B-Chat", torch_dtype=torch.bfloat16, trust_remote_code=True) model = model.quantize(8).cuda()
INT4 量化:
model = AutoModelForCausalLM.from_pretrained("xverse/XVERSE-13B-Chat", torch_dtype=torch.bfloat16, trust_remote_code=True)model = model.quantize(4).cuda()
Chat 版在不同量化等级下,模型显存占用及 MMLU 准确率:




本文转载自
社区供稿内容,不代表官方立场。了解更多,请关注微信公众号"元象XVERSE":

如果你有好的文章希望通过我们的平台分享给更多人,请通过这个链接与我们联系: 

https://hf.link/tougao

本文分享自微信公众号 - Hugging Face(gh_504339124f0f)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

展开阅读全文
加载中
点击引领话题📣 发布并加入讨论🔥
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部