在数字化转型和智能化升级的大背景下，数据的处理和计算能力的部署正逐渐向网络边缘和设备边缘转移。这种转变不仅能够显著降低应用的响应延迟，确保数据安全，还能够减少对集中式云服务和核心网络的依赖，同时提升对多样化应用场景的适应性和服务能力，而随着大模型和人工智能领域的快速发展，算力需求将愈发成为制约企业转型、成长的因素。
从边缘计算向边缘智算迈进
随着边缘计算逐步进入稳健发展期，使用单一边缘计算技术构建的应用难以充分发挥其价值。2023年，大模型的突破和生成式AI的兴起，带来了新的技术发展转折点，重塑算力格局。边缘计算与AI的结合尤为亮眼，带来了各种本地化的智能边缘应用，如智慧交通、智能制造和智慧零售等。
为满足大模型在行业和企业的落地，基础大模型会结合行业独有的知识、流程和数据资源，弥合技术与需求间的差距，进一步分化为行业大模型或企业大模型。在生成式AI的驱动力下，边缘计算加速向边缘智算迈进，边缘智算承载行业/企业大模型，满足无处不在的智能化需求，为数字化转型与智能化升级提供强大的技术支撑。不仅可以保证私有数据的调用安全，降低云端微调或推理的成本，还可以降低网络延时，满足用户个性化的表达需求，助力落地“人工智能+”的最后一公里。
大模型时代边缘智算面临的挑战
大模型工作负载主要分成两类：训练和推理。其中，训练的工作负载用于训练人工智能模型，如GPT4、LLM，推理的工作负载用于接受用户的输入，产生对应的输出。相对来说，训练所需的算力资源远远高于推理，因此对应的算力资源需求也有所差异。如果说训练需要的是一艘巨大的航空母舰，那么推理需要的就是性能强悍、价格低廉的护卫舰。在这个背景下，企业在边缘使用大模型通常会遇到以下挑战：算力需求多元、算力成本需不断优化、部署环境较为苛刻、计算架构多样且管理复杂的挑战。
为了有效应对，浪潮信息构建了业界最丰富的边缘计算产品系列，包括四大硬件产品系列、支撑边缘海量设备终端的三大管理软件，以及边缘AI、云边协同等多种解决方案。搭载第五代英特尔®至强®可扩展处理器的2U元脑®边缘服务器NE5260G7和1U元脑®边缘服务器NE3160G7，融合了英特尔最新的处理器技术，支持多种加速算力选项。不仅提供了卓越的计算性能和能效，还具备强大的AI推理能力，支持国内主流大模型及行业大模型应用。
图1：OTII 2U 边缘服务器 NE5260G7
图2：OTII 1U 边缘服务器 NE3160G7
同时，两款产品均遵循最新的开放计算OTII（Open Telecom IT Infrastructure）标准，设计紧凑，适应性强，能够轻松适应各种边缘环境。元脑®NE5260G7支持高达近百TB的存储容量，还可支持WIFI/4G/5G等多种无线模组灵活接入，无论是面向AI算力、大模型应用场景还是存储场景，都能提供灵活的解决方案。元脑®NE3160G7支持灵活的网络和AI加速卡扩展、适应恶劣的边缘环境，支持1588、GPS、级联3类时钟同步通信，保证海量数据处理准确无误，可以稳定用于5G智能基站、边缘轻量化推理等场景。
结语
边缘向AI而行，边缘智算将无处不在。边缘智算作为新一代计算模式与智能化服务的重要载体，正引领着数字化转型与智能化升级的新潮流。随着技术的不断进步、应用场景的持续拓展以及国际标准化进程的加快，边缘智算将在未来发展中展现出更加广阔的前景与无限可能。我们期待与业界同仁携手共进，共同推动边缘智算技术的创新与发展，为构建更加智慧、高效、可持续的未来世界贡献力量。
生成式AI与边缘计算的融合正在激发全行业数智化创新，英特尔将AI能力融入所有软硬件产品与方案，力求云、网、边、端每个触点支持AI应用，满足客户应用场景多元复杂、数据多样化、算力性能等挑战。我们将与浪潮信息等生态伙伴共同研发，帮助客户实现更高精度、更加稳定、更加安全的数智基础设施，加速数智化变革。
——英特尔网络与边缘事业部零售教育医疗行业中国区总经理 陆英洁
👉在公众号后台回复“白皮书”，即可获取《边缘智算产品方案白皮书》。
本文分享自微信公众号 - OpenVINO 中文社区（openvinodev）。
如有侵权，请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”，欢迎正在阅读的你也加入，一起分享。
