企业落地行业 AI,如何找到非大模型不可的应用场景?

01/21 21:00
阅读数 14

AI 2.0时代,人工智能技术的狂潮迅速席卷全球,ChatGPT 和其他大模型在不同领域大放异彩。漫长的“AI 寒冬”结束后,人工智能进入了新的高峰期,更是各行各业在这场技术浪潮中迎来了百花齐放的新时代。从医疗到金融,从教育到制造,人工智能正在深刻地改变着我们的生活和工作方式。这个时代的到来,让我们不得不重新审视和思考人与技术之间的关系,以及未来的发展方向。
由 GOSIM 开源创新汇主办、CSDN  协办的开源创新大会(GOSIM Con 2023),汇聚了来自国内外近百位顶级开源专家、开源项目领袖和企业代表,共同以全球视野剖析开源发展现状,探究前沿技术机遇,分享优秀开源社区建设心得以及创新实践。这场集结行业智慧的盛会,为推动人工智能和开源技术的融合提供了一个独特的机会。

对于企业 AI 如何落地,GOSIM 携手开源社共同策划了题为「大型语言模型垂直用户案例」的圆桌论坛,我们邀请到行业的代表人物,囊括了全球领先的技术公司、中国互联网企业的领头军、基金会的代表和 AI 初创公司。行业顶尖高手们在讨论中思维碰撞,从不同角度发表了自己的洞见以及具体的实践探索,我们特别整理出精彩内容,希望给大家以启迪。



“大型语言模型垂直用户案例”圆桌论坛

论坛嘉宾:

韦青  微软(中国)CTO

汪源  网易数帆总经理

谭中意  星策社区创始人、开放原子 TOC 主席

许哲楠  医者科技 CTO 

主持人:

陈阳  开源社理事长


视频回放:

https://www.bilibili.com/video/BV1Qu4y177pX/


陈阳: 谈到大模型与行业的结合,就不得不考虑到这个行业的横向特性。大模型具备着不少公有知识,而垂直行业的实际应用则是在特定领域内进行的。这时,我们该如何区分公共领域知识与专业领域知识?特别是在人工智能最初应用于垂直行业和场景时,我们能够观察到哪些最新的趋势和机会?
韦青: 作为微软首席技术官和一家合资公司的总经理,我对这个话题有很多实践操作中的体会。我既会从技术推广的角度看待问题,也注重具体技术在实际业务中的应用。对于大语言模型,包括其背后的机会和风险,需要从不同角度思考。在企业层面使用时,关注模型训练和测试的角度与仅仅了解模型的训练和测试有所不同。
无论是大模型还是 GPT,我们最终使用的是它们的知识。将大语言模型理解为人类的公共知识,类似于阅读公共课本。所以,我会进一步区分知识的三个层次:公共领域知识,领域知识,以及根据企业行为和客户业务形成的“专有知识”。
2022年7月,OpenAI 的首席科学家 Ilya Sutskever 有一个采访,主持人问他如何看待 AI 的未来,Ilya 就提出了两点:
1. AI 的未来就是 Data(数据)。不是普通的数据,而是很难找到的数据,是别人找不到的数据。
2. 不要只看今天,要看两到四年之后的变化。
这让我想到2014年 iPhone 刚发布时,在整场大会的最后三十秒,乔布斯引用了著名冰球运动员韦恩·格雷茨基的一句话:“我滑向冰球即将到达的地方,而不是它经过的地方”(I skate to where the puck is going to be, not where it has been)。韦恩·格雷茨基之所以能成为冰球皇帝,就是因为他的父亲一直教育他别老跟在冰球屁股后面跑,要考虑冰球去哪了,在哪儿等着会让成功系数更大一点。
在实际应用中,我想分享微软内部的经验。许多工程师从2022年9月份开始使用大语言模型,而内部使用的工程师也和大家一样,都有学习的过程:一开始都觉得 ChatGPT 演示起来非常神,然后在用了一段时间之后发现没有那么神,因此纷纷投入学习。
学完之后我总结了四个字,也是我自己的体会:教、学、习、用。我们关注在人工智能、大语言模型的时候,更多关注的是这个代表机器学习的“习”字,但其实这个“教”也是非常重要的。我们要教了之后大模型才能开始学,学完之后要“学而时习之”,习了之后变成真正的应用——这还早着呢。
前段时间黄仁勋先生说现在 AI 到了 iPhone 时代,而 iPhone 是在2007年的七八月左右发布的,到了2008年、2009年出现了 App Store 热门应用,比如愤怒的小鸟等,那我们扪心自问一下:这些热门应用到了今天还有几个装在我们的手机上呢?我的意思就是,现在大家都在盲人摸象,吹的所有东西极大概率再过五年都不在了,而在此之后才是真正的应用时代,智能将无处不在。
这时再退回来想一想,我们每天晚上一睁眼到睡觉之前的活动,有通勤、工作、开会、写代码、娱乐、社交、吃饭等等,如果把每个环节用 BPMN(Business Process Model and Notation,业务流程建模与标注)的方式再拆散了,通过大模型赋能我们的生活。所以严格意义来讲,真正伟大的技术最终一定会变成陷入于无形的技术,大语言模型什么时候遁入无形,我们就开始干正经的活了。
韦青   微软(中国)CTO
汪源: 网易是一家有一定代表性的互联网 & 企业服务公司,所以我想分享一些网易在 AIGC 方面落地实践的经验。网易对 AIGC 的落地反应还是比较快的,在2022年春节之前就召开了过发布会,而这里面分成几个场景:
1. 网易的知名业务就是游戏和教育,所以我们两个对外的大模型「玉言」和「子曰」也是由游戏 AI 和教育 AI 训出来的,当然玉言模型也有我们研究院参与。游戏领域方面,大模型主要应用在游戏的 NPC 上,比如在《逆水寒》手游就使用了大模型技术做 NPC 的对话。而教育领域方面,则应用在口语对话中,比如把有道词典做成软件和硬件一体,提升消费者体验。
2. 对于公司内部而言,大模型对我们的生产环节提供了巨大的帮助。而网易其实最主要的就是生产两类东西,一类叫生产软件,也就是写代码;另外一类就是生产游戏所需要的美术资源,这个是网易作为一家典型的互联网企业两个最大的生产环节。在这两个最大的生产环节里,我们大量使用 AIGC 的能力,采用文生图的技术,能够比较有效提升生产力。目前,我们有15%~17%的代码是由 AI 来编写的,而非人类程序员。
在企业服务方面,能够看到今天有很多人做大模型的创业,思考能否将这个大模型做成一个产品卖出去。而网易目前把大模型应用在 BI 领域做成产品,我们称之为 ChatBI,已经取得了见效,是比较好的大模型落地的产品方向。大模型的产品方向有很多,网易自己的探索是将大模型用于探索分析、美术制作、编程软件编码。
而在垂直行业和场景方面,网易内部很少专注于前者,而是重点关注垂直场景。
首先,我们要思考什么样的场景对自己的基础有一定的背景上的优势。 比方说,软件开发和数据分析都是典型的场景,它们在各行各业都有需要。
其次,需要思考产品的用途。 刚才韦青老师也说了,大模型要化于无形。我会询问每一家大模型创业的公司:你们想做什么产品?你们想好了做什么产品了吗?这个产品假设大模型能够搞定的话,它的体验是什么样的?它创造了什么价值?
对于创业公司,首先要明确想要开发的产品,并在确保产品方向正确的前提下,再考虑大模型的应用。在初期,即便使用的不是自己的大模型,也可以先通过调用开放 API(例如 OpenAI 的 API)来验证产品的可行性。在产品方向明确的前提下,再逐步探讨大模型本身的问题,例如符合国家规定、大客户的私有化需求以及通用大模型可能涉及的 GPU 资源损耗等问题。
汪源  网易数帆总经理
谭中意: 回顾自2012年以来人工智能的发展,传统的图像识别、搜索广告、推荐以及风控等场景,AI 都取得了显著进展。像谷歌和百度都是靠核心的 AI 算法来实现巨大的商业价值。然而,能撑得起这么大价值的行业或者场景是非常有限的,只有寥寥几个厂家可以用得上。随着大模型 AIGC、生成式 AI 的诞生,我们才真正看到了一种普惠式、能够被大多数行业都能够用起来的形式。
生成式 AI 首先提供了非常好的自然语言界面,能够让易用性提升上来;其次,可以让传统的软件进行深度的改造,诞生许多新的改进机会;最后就是能够利用思维链的方式,结合 Agent 集成软件,我觉得这都是能给各个行业带来的好处。
但从大模型应用到现在,目前来看在企业内部比较落地的场景主要集中在两处。
首先是企业内的知识库作为知识库查找助手。 但大模型从本质上来说是不能够杜绝幻觉的,所以说很难向公共开放,只能先用在企业内作为各种知识库的助手。目前来看,60%到70%的场景都是这个方向。
第二个场景是业务智能(BI)领域,类似于汪源老师提到的 ChatBI。很多厂家都在做 BI 取数,这是增强数据查询能力的一种场景,也是商业化被证明过的场景,能提高分析师的查询能力。
当前最容易落地的领域主要是企业内部,尤其是一些低风险的场合,因为这有助于提高内部员工的工作效率。其次是游戏领域,特别是在处理 NPC 对话方面,能产生各种各样的玩法。随着对大模型幻觉的控制机制的改善,在更为严肃的 2B 领域内,大模型的应用将迅速增长。
谭中意  星策社区创始人、开放原子 TOC 主席
许哲楠: 我想先聊一聊中医和西医的区别,我在实验室的工作偏向西医,而现在创业则偏向以中医为主的中西结合,也加入了运动医学和营养学等。西医是非常标准化和流程化的医学体系,有指南规范医疗流程。因为西医体系的标准化,通过知识图谱等规则化的方式完全可以做得很好,大模型技术会对其有提升,但是提升不会很明显。
相比之下,中医场景更为复杂。很多人之所以感觉中医是玄学,是因为中医是一门经验性医学,同时包含了经验性和规则性知识的复杂场景。用知识图谱去做规则知识的部分,用语言模型做经验性混沌知识的部分,就能很好得解决中医这类复杂场景下的问题。
特别到实际场景下,我们最先关注的是肺小结节(一种病症名),且业务更倾向于未病、亚健康状态,而不是严肃医疗。对于西医来说,小于8毫米的肺小结节通常不会过多关注,而中医则提供了一些干预方法,甚至可以使肺小结节缩小。所以我们致力于提供一个长期持久个性化的方案,通过实时的健康管家服务,包括食谱、食疗、运动等,来陪伴用户实现日常的个性化健康管理,改善肺小结节问题。
当然这其中会有很多技术的难题,简单在大模型上做微调是肯定不行的,我们进行了非常细致的数据处理、数据分割,并且做出 MoE(Mixture of Experts)的模型架构。这种架构包含一个主动给出路由的模型,以及负责不同步骤和领域的多个模型,完成整个中医长流程的看诊过程。如此一来,我们的成本有效降低,相比于大模型指数级的成本,MoE 架构只有线性的成本。
许哲楠  医者科技 CTO
陈阳: 如今我们每天都广泛使用 ChatGPT,许多企业员工也开始频繁使用 OpenAI 和 ChatGPT 的技术。然而,在我们进行输入时,难免会涉及一些企业自有的数据,例如人名和敏感信息。从个人的角度来看,这是无法避免的,大家都需要使用。但从企业的角度来看,是否存在最佳实践和流程,以便合规地保护数据?
谭中意: 数据隐私的问题非常明显,在企业内与外部大模型交互会泄露自己的企业信息,而这种条件约束给国内的大模型应用厂家带来了非常大的机会,也就是私有部署大模型的机会。私有部署大模型,则能够解决内容隐私安全的担忧,所以是解决当前国内信息化现状的有效途径。
第二个问题是如何在部署大模型的过程中实现数据隐私,不被下游客户所挑战。对此我分享一个观点:确保在大模型的每一级都做好数据安全和对齐的问题,而不仅仅是在最终生成模型时检查安全性。在大模型生成结果供用户查看之前,还需要进行多次过滤,将问题案例累积并放入数据循环中,以确保不再出现相同问题。所以说,在企业内部对大模型应用最好采取一系列严肃的工程措施。
韦青: 首先,要认识到这是影响公司生死存亡的大话题。公司的先进性是一方面,在社会上的合规、隐私、保护、安全、包容、负责任、透明度,也会是这个社会对于公司的衡量标准。
在具体实践时,我的理解就是要“用魔法打败魔法”。 因为大语言模型本身是原生的,既可以称之为是 Feature,也可以称之为是 Bug,如果去有意识地拦住什么东西,也许就会把有用的知识给拦住了。
所以我借用了行业内的方法,其中也包括刚才提到的 MOE 的方法,让模型去 PK 模型。因为大模型的本质是概率模型,就算它说对了,也是猜对的。你认为它说得不对是因为它跳出了你的认知圈,所以要通过使用很多的模型来理解目标模型的输出内容,用机器来监督机器。如果单靠人类的脑袋,可能就会适得其反,让模型的能力变低。
我们现在说的几乎所有对于大语言模型的担心,都是在拿一个确定性的眼光看它,要求大模型必须安全、可靠、合规。但别忘了大模型本身就是概率模型,我们要跳出约束和束缚。所以我倡导在航天领域的做法,他们会使用多数投票机制,让三台计算机同时计算一个结果,如果三台计算机计算的结果一样,那就推倒重来。
陈阳: 在实战阶段,有一个问题就是要“避坑”。在做 AI 应用于行业的时候,有哪些难点和值得考虑的问题?AI 和行业落地时,有哪些难点和挑战?
汪源: 网易现在其实也在探索医疗,我们避的坑就是需要拿到临床各种认证,但这并不是技术问题,所以这种坑我们就直接跳过了,只在医疗领域做面向它的科研场景,不面向临床。
谭中意: 我来说一下,大模型 2B 当前最大的挑战是什么:
1. 找到高价值的场景,这也是目前所有从业人员都在寻找的地方。高价值场景大家很清楚,无非是搜索、广告、推荐、风控,个中这个收益都是能算出来的。要在其中投入的资源、机器和人力也是清楚的。
2. 大模型现在的典型应用还是助手,这种助手是可以提高效率的,但是效率提升很难用量化的方式给出收益。然而,大模型的训练和推理成本又非常的高,所以在阻碍大模型落地最重要的原因就是怎么找到一个切实的场景,把这个场景的成本大幅的降低下来,让创新的成本收益 ROI 更容易计算出来,让老板觉得值,值之后会有不断的人力和资源投进来,所有的工程问题都好解决,关键是能挣钱就好说。
许哲楠: 有些人入坑时会急于上手和训练,凡事预则立不预则废。大模型的关键在数据,但很多人认为只要有了数据就能训练模型,不关注哪些数据是面向模型的,这肯定是不对的。这也是我们遇到过最大的坑、最大的经验教训,给我们带来了认知上的提升,希望大家可以避这样的坑。
韦青: 我有一个切身的体会。AI 时代下,大家突然见到一个闪亮的工具,倾向于过度使用,期望通过"金锤子"(大模型)解决所有问题。这么做在早期是没问题的,但千万别认为能砸出什么东西出来,这只是玩玩罢了。我在选项目的时候,常使用反向思维模型,给工程师们提出挑战,问他们“这个项目能不能不用大模型?”不幸的是,我得到的所有回答都是这个项目不用大模型干了会更便宜、更快、更好。
这就是自我过滤的过程。面对一个项目,你可以反过来说“这事是挺好的,但咱们能不能不用大模型做?”,然后让团队开始反复挑战,直到这事必须得用大模型才能办成,这事就活了(能办成了)。
观众提问: 2017年的区块链比现在还火,过了这么多年却发现没有那么热了,很难找到“非区块链不可”的应用场景。那能不能分享现在有哪几个场景必须用大模型?
韦青: 这是挺关键的一个问题,还没有人窥见全局。
我个人探索的结论是两个字,数据。如果没有高质量数据,就无法完成先前提到的“教学习用”的“教”,只能依赖通用模型。通用模型无法解决核心竞争力的问题,但我觉得倒是有可能解决企业的成本下降问题,比如让程序员都用上 Copilot。
在没有数据的情况下,就没有专有的知识和模型。我们在具体的应用中也发现,在流程再造中,一些以前没有大语言模型的工具,需要用程序来实现的环节,大语言模型能够理解你的意图,提高自动化程度。当然,我更多地从企业级的角度进行思考,对于游戏和 2C 领域,我并不是特别熟悉。总的来说,我们需要将大语言模型视为一个工具,用于解决尚未解决的问题,而目前大家还仍在摸索中。
陈阳: 请每位嘉宾结合自己企业 AI 实战经验,总结为一句金句,送给在场听众。
汪源: 技术无价,产品为王。
韦青: 刚刚开始,稍安毋躁。
谭中意: 千行百业,我们都需要找到场景,然后把 ROI 打正,这个事才可以长久做下去。
许哲楠: 技术只有优势,不存在壁垒,数据为王。
转载自丨 GOSIM 开源创新汇
编辑丨王军


相关阅读 | Related Reading

开源大模型领域最重要的玩家们,在关心/担心什么

开源价值观:人类文明演进如何与现代商业共融

开源社简介

开源社(英文名称为“KAIYUANSHE”)成立于 2014 年,是由志愿贡献于开源事业的个人志愿者,依 “贡献、共识、共治” 原则所组成的开源社区。开源社始终维持 “厂商中立、公益、非营利” 的理念,以 “立足中国、贡献全球,推动开源成为新时代的生活方式” 为愿景,以 “开源治理、国际接轨、社区发展、项目孵化” 为使命,旨在共创健康可持续发展的开源生态体系。


开源社积极与支持开源的社区、高校、企业以及政府相关单位紧密合作,同时也是全球开源协议认证组织 - OSI 在中国的首个成员。


自2016年起连续举办中国开源年会(COSCon),持续发布《中国开源年度报告》,联合发起了“中国开源先锋榜”、“中国开源码力榜”等,在海内外产生了广泛的影响力。

本文分享自微信公众号 - 开源社KAIYUANSHE(kaiyuanshe)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

展开阅读全文
加载中
点击引领话题📣 发布并加入讨论🔥
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部