openGemini+KubeEdge开启边缘计算之旅

原创
2023/08/23 17:58
阅读数 119

作为开发者,我们一直孜孜不倦追求的目标是尽最大努力提高软件的性能和可靠性,同时在最大可能的情况下降低自己的成本。而边缘计不失为一种好的方法,它正在被越来越多的企业意识到。

边缘计算迎来了发展的黄金期

根据Gartner的数据,全球目前只有10%的数据是在传统数据中心或云之外产生和处理的。到2025年,由于物联网(IoT)技术在各行业的快速渗透和嵌入式设备处理能力的增强,这一数字将增加到75%。

美国麦肯锡(McKinsey)公司已经确定了100多个边缘计算的不同使用案例,并认为这些用例可以在未来5到7年为边缘计算创造超过2000亿美元的硬件价值。

来看另一份数据,根据信通院此前发布的数据显示,2021年我国边缘计算市场规模达436.4亿元,预计到2024年增长到1803.7亿元,边缘计算迎来了发展的黄金期

图片

边缘计算的优势

一项新技术得以被广泛应用,唯一的原因是它对产业的实际价值得到了认可。边缘计算在某种程度上已经成为了一个流行语,它对于企业到底意味着什么?

节约成本

对于物联网(含IIoT)、车联网等等具有大量数据处理的业务来说,在边缘处理数据更为高效,减少了云上数据传输所需带宽。除此之外,还可以通过在边缘进行实时数据处理,仅将处理后的较低粒度的数据发送到云进行长期的历史分析,以此减少长期存储的数据量。

性能提升

通过将计算资源部署在靠近数据的地方,可以降低时延,从而获得更好的用户体验。由于减少了往返数据中心的数据请求,时延和带宽成本的降低,这也意味着性能提升成为了可能。

提高可靠性

一个应用程序,如果设计得当,利用边缘计算,对最终用户来说将更可靠。即使应用与数据中心失去了网络连接,关键工作仍然可以使用边缘计算资源来完成。边缘计算可以帮助减少体系结构中的单点故障。

安全和隐私保护

通过将更多的数据保留在边缘,有效降低了数据中心安全漏洞引发的损伤半径。但是,如果不遵循适当的安全最佳实践,在某些情况下,边缘设备也存在安全风险。

openGemini+KubeEdge实现云边协同计算

快速部署

KubeEdge的目标是将Kubernetes和云原生引入边缘计算。这意味着开发人员在边缘就可以获得与云原生相同的体验,如更快的部署、更少的错误和更可靠的应用。

openGemini包含单机和集群两种部署模式,其分布式集群采用MPP大规模并行处理分层架构(如下图所示),ts-sql和ts-store可独立扩展。

图片

openGemini借助KubeEdge,大大提升了在边缘环境的部署和管理效率,节点扩容也更加便捷。

边缘数据处理和存储

采用边缘计算的一个重要原因是,通过更接近数据生成的来源,让数据处理的更快、更高效。边缘业务场景通常涉及对时间序列数据和传感器数据的实时处理。

中国移动的一个案例中展示了如何使用KubeEdge来实现这一目标。由于openGemini原生兼容InfluxDB接口,因此该架构同样适用于openGemini。

图片

在边缘,Kuiper用于处理来自MQTT Broker的数据,这些数据使用openGemini存储在边缘,openGemini具备高性能,高数据压缩率,是一个非常适合边缘的开源时序数据库。数据一旦存储在openGemini中之后,就可以用于分析、数据异常检测和预测、数据可视化或自动警报等任务。

云边数据同步

Kuiper产品的设计目标是让云端运行的流式处理,像Spark/Flink可以运行在边缘。Kuiper具备高效的数据处理和分发能力,在一些场景下,经过Kuiper处理后的数据可以同时向云端和边缘的openGemini分发数据,以实现云边数据的同步。

机器学习和AI

在边缘,靠近数据进行异常检测、预测可以进一步提升企业的生产效率,然而要实现的数据异常检测和预测,通常需要借助一些外部的边缘AI分析框架或者平台才可以完成。

openGemini内置了13种基于AI的异常检测器,可覆盖常见的离群点、数值变化、阈值、持续上升下降等时序异常场景,可以不依赖任何外部应用就能实现数据的实时异常检测。

图片

在openGemini内置的AI分析框架中,用于异常检测的castor算子让AI分析可以像使用普通分析算子一样(如SUM、MEAN),ts-store执行查询计划将数据准备好,通过Agent提供给Worker进行AI分析,然后将结果返回给客户端。为了不与数据库抢夺资源,Agent和Worker可以部署在单独的节点。

上述架构方案可参考:

https://github.com/openGemini/community/blob/main/KubeEdge+Kuiper+openGemini.md

结语

随着物联网、车联网、工业互联网和智慧城市快速发展,时序数据库成为数据架构技术栈的标配,面对边缘海量时序数据,随之而来是数据存储、分析问题,也对时序数据库高效读写、快速分析能力提出了更高要求。

但需要认识到的是,openGemini的侧重点不同,相比关系型数据库,更擅长于处理时序数据,可以根据自己的业务需求,灵活搭配使用,更好地实现边缘侧的数据自治。


openGemini 官网:http://www.openGemini.org

openGemini 开源地址:https://github.com/openGemini

openGemini 公众号:

欢迎关注~ 诚邀你加入 openGemini 社区,共建、共治、共享未来!

展开阅读全文
加载中
点击引领话题📣 发布并加入讨论🔥
0 评论
0 收藏
0
分享
返回顶部
顶部