继 GPT-4 发布之后，多模态正成为大模型研究和应用的主流趋势之一。
Hugging Face 上也有一个 Space 应用可以体验 VisualGLM：
https://huggingface.co/spaces/lykeven/visualglm-6b
另一方面，则有不少高校和开发者基于 VisualGLM 微调出具有使用价值的项目，其中尤为突出的包括由澳门理工大学团队开发的 XrayGLM —— 一个能读X光片的大模型：
开源之后，一方面大家迅速部署了该模型，并发出许多有趣的demo：
另一方面，则有不少高校和开发者基于 VisualGLM 微调出具有使用价值的项目，其中尤为突出的包括由
澳门理工大学团队开发的 XrayGLM —— 一个能读X光片的大模型
：
为了让开发者更加容易地理解 VisualGLM，并能够在自己机器上部署和微调 VisualGLM，以开发出适用于自己领域的多模态大模型，我们邀请了
VisualGLM 的作者
以及
XrayGLM 的作者
来给我们从头讲解相关内容，并做详细的代码实践。
作为能够理解图像的中文开源对话模型，VisualGLM 目前仍处于 v1 版本，仍然有相当多的局限性。这一方面，要求我们加快研发速度；另一方面，也离不开
开发者社区共同建设
。
我们邀请大家一起观看本次
「微调培训」
，并希望能微调出更多
有趣且有用
的多模态大模型。
培训时间：2023/5/30 19:00-21:30
课程 1 - VisualGLM：理论、部署、微调
VisualGLM-6B 是一个开源的，支持图像、中文和英文的多模态对话语言模型，语言模型基于ChatGLM-6B，具有 62 亿参数；图像部分通过训练BLIP2-Qformer 构建起视觉模型与语言模型的桥梁，整体模型共78亿参数。
VisualGLM-6B 依靠来自于CogView数据集的30M高质量中文图文对，与300M经过筛选的英文图文对进行预训练，中英文权重相同。该训练方式较好地将视觉信息对齐到ChatGLM的语义空间；之后的微调阶段，模型在长视觉问答数据上训练，以生成符合人类偏好的答案。
VisualGLM-6B 由SwissArmyTransformer(简称sat) 库训练，这是一个支持Transformer灵活修改、训练的工具库，支持Lora、P-tuning等参数高效微调方法。本项目提供了符合用户习惯的huggingface接口，也提供了基于sat的接口。
结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4量化级别下最低只需8.7G显存）。
https://github.com/THUDM/VisualGLM-6B
课程 2 - XrayGLM：原理、数据、微调
最近，通用领域的大语言模型 (LLM)，例如 ChatGPT，在遵循指令和产生类似人类响应方面取得了显著的成功，这种成功间接促进了多模态大模型的研究和发展，如通用领域的多模态大模型MiniGPT-4、mPLUG-Owl、Multimodal-GPT和LLaVA
然而，此类多模态大模型却很少出现在医学领域的研究中，阻碍了相关研究发展。visual-med-alpaca虽然在医学多模态大模型方面做出了一些很有成效的工作，然而其数据为英文诊断报告，不利于促进中文领域医学多模态大模型的研究发展。
为此，我们开发了XrayGLM以解决上述问题。XrayGLM在医学影像诊断和多轮交互对话上显示出了非凡的潜力。
https://github.com/WangRongsheng/XrayGLM
Hugging Face 公众号渠道为本活动提供宣传支持，活动内容不代表官方立场，参与活动请注意保护个人隐私。了解更多，请关注微信公众号“GLM大模型”。
如
果你有好的文章希望通过我们的平台分享给更多人，请通过这个链接与我们联系:
https://bit.ly/hf-tougao
