7月8日活动|大语言模型时代,AI infra 长什么样?

2023/06/29 12:30
阅读数 271

随着 ChatGPT 的火热,大语言模型和相关应用不断涌现。你是否了解大语言模型的技术细节?你是否曾经开发过大语言模型应用?如果你对大语言模型背后的基础设施感兴趣,那么7月8号,北京海淀中关村创业大街,云原生的开源 AI 大语言模型基础设施 meetup 等你来探讨!


此次 meetup 聚集了来自 Milvus、VMware、智源、商汤科技和 WasmEdge 等AI/云原生领域的专家,演讲将涉及大模型应用开发、联邦学习与大语言模型、向量数据库、神经网络量化、模型评测等多个方向,为你解析完整的大语言模型开发生命周期,透彻了解大语言模型背后的细节。


除了精彩的演讲内容,本次活动还得到了 CNCF(云原生计算基金会)的大力支持,会议将提供饮料和 Pizza。人民邮电出版社赞助了AI、开源和 Rust 相关的技术书籍,为你的技术学习之路提供帮助。现场还有贴纸、帽子、杯子、T-shirt 等周边礼品,让你满载而归。

时间

2023年7月8日下午1点-6点,Pizza 将在 1点提供,欢迎小伙伴早点前来签到!

地点

北京市海淀区中关村创业大街12号楼五层

议程介绍

下午1:35 - 2:20:使用 Rust 和 Wasm 开发轻量级 AI 应用 — Michael Yuan,WasmEdge 创始人

LLM——大语言模型,例如ChatGPT,就好像没有记忆、感官或手的大脑。API 和插件允许开发者为 LLM 添加这些关键功能,从而实现 LLM 应用程序。开放AI插件和功能模板的流行表明,存在对这种服务的巨大需求。然而,当前的 LLM 插件通常建立在专为完全成熟服务设计的复杂云原生基础设施上,例如 VM、Linux 容器和 K8s 集群。这种基础设施对于大多数充当LLM和外部服务之间轻量级链路的插件/ Serverl ess应用程序来说过于笨重。WebAssembly(Wasm)已成为这种类型的函数的一种引人注目的轻量级、便携式和安全运行时。

我们将讨论 WasmEdge 社区(一个 CNCF Sandbox 项目)如何利用和构建 Wasm 容器基础设施以用于 LLM 插件。我们将涵盖主要的使用案例和应用领域,如研发管理、DevRel、营销自动化和培训/学习。然后,我们将深入探讨技术栈,以及社区创建的 Rust和 JavaScript SDK,从而实现这些 LLM 应用场景。

通过这个演讲,你将学习到如何在3分钟内使用 serverless 的方式构建开发 AI 应用。

下午2:20 - 3:05:FATE-LLM: 当联邦学习遇到大型语言模型 — 王方驰,VMware CTO 办公室高级工程师,FATE 项目 maintainer

近年来,基于 transformer 的大型语言模型越来越受欢迎,各界讨论不断升温,各路大模型也相继发布,另一方面,大型语言模型在数据和隐私问题上面临的挑战也逐渐凸显。近期,开源联邦学习框架FATE发布了联邦大模型方案FATE-LLM,将联邦学习和大模型技术相结合,为以上问题带来前瞻性的解决方案。通过FATE-LLM,各参与方可以在数据不出本地域的前提下,用各自隐私数据共同进行大模型微调并互惠互利。本次演讲将介绍FATE-LLM在将联邦学习应用于ChatGLM、 LLaMA 等大型语言模型方面的最新努力,并探讨技术和实践上的挑战、设计思路以及未来规划。

通过这个演讲,你讲学习到  1. 联邦学习与联邦大模型 2. FATE-LLM相关设计思路 3. FATE开源社区生态。

下午3:05 - 3:50:向量数据库:大模型的长期记忆体 — 李晨 Zilliz 运营及生态负责人

对于构建专有大型语言模型的组织而言,向量数据库至关重要。向量数据库的一个新型重要用例是 LLM,在文本生成过程中可用于检索领域特定事实或专有事实,用以存储、索引、搜索和检索非结构化数据的大型数据集。本次分享将重点介绍AI 基础设施的开源向量数据库 Milvus 以及对应的云服务 Zilliz Cloud 是如何知识增强和赋能 LLM,并进而引出大模型与向量数据库的关系、生态集成、工具与应用等。

通过这个演讲,你将学习到 1. 了解大模型和向量数据库的集成构建 AI Native应用 2. 向量数据库如何知识增强和赋能 AIGC 领域相关

下午3:50 - 4:05:茶歇

下午4:05 - 4:50:在 AI 开发中模型量化相关的技术实践 — 张志,商汤模型量化框架 PPQ 工程师

神经网络量化是一种广泛应用的技术,可以在较低的成本下降低神经网络的计算代价和内存使用。目前使用最为广泛的量化技术将浮点模型转换为8位整数模型,并使用整数运算器完成网络的推理过程。量化技术目前正广泛应用于推理框架当中,大模型的压缩与部署也广泛地依赖于神经网络量化压缩,由商汤 OpenPPL 团队开发的量化框架 PPQ 是目前国内神经网络量化框架的佼佼者,其支持多个硬件后端平台的量化模拟与部署,并在此基础上抽象出一套完整的量化框架设计。我们将着重讲解大语言模型中广泛应用的量化技术,从weight only量化到groupwise kv cache量化,介绍这些技术的应用场景与性能收益。

通过这个演讲,你将学习到如何在服务器上进行网络部署以及性能调优,进而大幅降低神经网络模型的存储需求和计算成本,从而使得这些模型可以在资源要求严苛的设备上运行。通过一些在实际应用中的案例,您将更进一步地了解神经网络模型量化的实现细节与局限性。

下午4:50 - 5:35:FlagEval:大模型评测开源项目 — 玄日成,智源智能评测组算法研究员,天秤项目 core contributor

模型评测是模型生产生命周期中非常重要的一环,随着近年来基础模型相关理论和技术的高速发展,但传统的评测方法和基准在基础模型评测上正面临失效的困境,因此研发面向基础模型的评测方法和工具就显得更为重要。FlagEval 大模型开源评测体系创新构建了“能力-任务-指标”三维大语言模型评测框架,尝试细粒度的刻画基础模型的认知能力边界。

通过这个演讲,你将了解到大模型评测的基本概念,以及如何评测大模型。

下午5:35 - 6:00:集体照片和自由交流

报名方式

扫描上方二维码或点击阅读原文进行报名

7月8日,期待与你相见!


关于 WasmEdge

WasmEdge 是轻量级、安全、高性能、可扩展、兼容OCI的软件容器与运行环境。目前是 CNCF 沙箱项目。WasmEdge 被应用在 SaaS、云原生,service mesh、边缘计算、边缘云、微服务、流数据处理等领域。

 ✨ GitHub:https://github.com/WasmEdge/WasmEdge
 💻 官网:https://wasmedge.org/
 👨‍💻‍ Discord 群:https://discord.gg/U4B5sFTkFc
  文档:https://wasmedge.org/book/en


点击阅读原文,报名本次活动!

本文分享自微信公众号 - WebAssembly 中文社区(webassemblywasm)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

展开阅读全文
加载中
点击引领话题📣 发布并加入讨论🔥
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部