CKafka 一站式搭建数据流转链路,助力长城车联网平台降低运维成本

原创
2023/12/01 10:34
阅读数 24

关于长城智能新能源

长城汽车是一家全球化智能科技公司,业务包括汽车及零部件设计、研发、生产、销售和服务,旗下拥有魏牌、哈弗、坦克、欧拉及长城皮卡。2022年,长城汽车全年销售1,067,523辆,连续7年销量超100万辆。长城汽车面向全球用户提供智能、绿色出行服务,加速向全球化智能科技公司进阶,智能化车型渗透率达86.17%,车联网作为智能化两大应用方向之一,在这个过程中快速发展。

长城车联网平台涵盖车内总线数据上报、远程、车机配置下发、推送文件、推送消息、运营关怀等全新车联网业务,实现车机端和业务平台解耦并高效完成业务对接整合。

主要场景包括:

● 车端数据上报——电机、位置、发动机、整车数据、电池,报警等,通过 tbox 上报车联网平台,针对上报数据进行实时数据处理、计算、推理,以便提供车况查询、告警等智能化服务。

● 远程控制——手机 APP/智能设备集成车联网平台能力,实现远控、诊断。

以下是车联网平台架构图(示意)。

车联网平台架构图(示意)

爆炸式增长带来的挑战

车联网平台目前已接入数百万辆车,峰值在线达百万辆。车端上报信号数据量大、上传频率高,数据呈爆炸式增长,海量数据实时处理与分析面临严重挑战。

对系统提出以下要求:

1、处理时效要求高

查询时效性、分析决策、监控告警

2、数据量大,稳定

分布式、平行扩展、低耦合、高可用性、数据安全

物联网设备通常性能比较弱,很难去使用流行的传统的消息中间件。基本上 IOT 设备里面,都是用 MQTT 来去做消息的传输。但 MQTT 存在以下缺点:

1、只是排队,而不是流处理

2、无法处理使用量激增(没有缓冲)

3、大多数 MQTT 代理不支持高可伸缩性

4、异步处理(通常脱机很长时间)

5、缺乏与企业其他部分的良好集成

6、单一基础设施(通常位于边缘)

7、不能对事件进行再处理

只有 MQTT 数据有可能来不及处理就被丢掉,同时也满足不了海量数据实时处理与分析带来的挑战。

解决方案

作为分布式消息队列的 Kafka,因多分区、零拷贝、批处理、顺序读写等设计和特性能够实现高吞吐量的数据处理。同时作为一个事件流平台,它结合消息传递、存储和数据处理来构建高度可伸缩、可靠、安全和实时的基础设施。从车联网的角度来看具有以下优点:

1、流处理,不仅仅是排队

2、高吞吐量

3、大规模的

4、高可用性

5、长期存储和缓冲

6、再处理的事件

7、与企业的其他部分良好集成

Kafka 和 MQTT 的结合是构建可伸缩、可靠和安全的车联网基础设施的天成之选,因此长城车联网平台选择 Kafka 作为数据处理核心组件。

MQTT 的 Broker 集群后对接 Kafka 集群,先通过 MQTT 从设备采集数据,采集后再转储到 Kafka ,供后续引擎分析处理。即使处理的速度没有采集的速度快,数据也不会丢失,因为已转储到 Kafka ,长城正是用这种方案实现了车联网设备状态的持续监控和分析。

但自建 Kafka 带来日益加重的研发和运维成本:

首先,解决问题的研发运维人员需要具备扎实的计算机功底(熟悉计算机网络、IO 等),需对 Kafka 的底层原理、各种配置参数项等具有深刻理解,可以进行 Kafka 集群参数调优,快速处理突发故障、恢复集群抖动和动态进行集群扩缩容等。

其次,一方面需要投入更多的人力、物力成本,另一方面 需要时刻监控集群的健康状况,及时排除问题以保障业务的稳定运行。

最后,自建消息队列在扩展性、可维护性能方面存在不足,当业务的消息数据量到达一定程度后,自建的消息队列集群就会引发各种各样的问题,问题的解决又带来很大的挑战。

举几个简单例子:

● 集群发生异常时,因为监控指标不全,日志输出不合理等原因,排查定位问题困难。只能靠暂停业务、重启 Kafka 集群解决问题,对业务影响较大。

● Kafka 的集群扩容复杂度高,在业务高峰进行迁移的时候,出现分区迁移卡死。

● 自建集群的 ZK 运维难度大,ZK 负载高,导致ZK频繁断连。

与腾讯云技术团队沟通, CKafka(Cloud Kafka)作为云上Kafka版本,具有完善的监控告警系统和运维工单系统,在性能、扩展性、业务安全保障、运维等方面具有很强优势,可以在享受低成本、高性能、丰富功能的同时,免除繁琐运维工作。

车联网平台利用高性能、高吞吐、可拓展的分布式消息队列引擎 CKafka,实现业务解耦、削峰填谷、数据的异步处理,达到业务的高可靠性。

数据上报场景

车辆产生的实时数据(如 GPS 位置、速度、油耗等)通过 CKafka 进行收集、传输、分发,实现一份数据多个流向满足多个场景需求。

实时计算部分

通过 Flink 提供的 Kafka 连接器,流数据经过 Flink 算子进行处理落入高性能列式数据库Clickhouse,用于实时更新数据的分析。该流程可提供一次精确的处理语义,同时 CKafka 多分区提供更高的吞吐量,减少数据倾斜和热点。

车辆故障、异常行为等车辆的状态数据,通过实时分析可以快速发现并处理车辆的问题。

离线分析部分

通过 Flume 等日志收集系统,可将 CKafka 中海量日志数据进行高效收集、聚合、移动,最后存储到 HDFS 或者 Hbase。在生产处理环节中,当生产与处理速度不一致时,CKafka 可以充当缓存角色。 拥有 Partition 结构以及采用 Append 追加数据,使 CKafka 具有优秀的吞吐能力;同时其拥有 Replication 结构,使 CKafka 具有很高的容错性。

车辆数据经过离线分析和挖掘,分析结果可以用于优化车辆性能、提高驾驶安全、降低能耗等。

指令下发场景

在指令下发场景中,CKafka 承接远程指令和响应结果,为上下游多个系统提供异步接耦、削峰填谷的能力,同时消息持久化及可回溯的产品特性能保障指令状态的最终一致性。

使用 CKafka 后的业务收益

与自建 Kafka 相比,CKafka 有完善的监控告警系统和运维工单系统,CKafka 研发专家随时答疑解惑,迅速解决客户问题,省心省力。

CKafka 在性能、扩展性、业务安全保障、运维等方面具有超强优势,让客户在享受低成本、超强功能的同时,免除繁琐运维工作。当 CKafka 集群的流量和磁盘容量超过告警阈值,后端会及时扩容设备对客户端无感知,解决开源 Kafka 长期以来迁移数据的痛点,配置升级无感知,轻松应对业务高峰。

除了可拓展性之外,Ckafka 支持同地域自定义多可用区部署,跨地域灾备,提升业务容灾能力。

未来展望

针对降低存储成本、快速应对突发流量峰值的两个核心诉求,CKafka 将演进按量存储形态,并推出弹性带宽能力。

● 按量存储

按照实际使用存储空间弹性计费,无需考虑预留存储空间,更加灵活易运维,且成本更低。

● 弹性带宽

在既定带宽规格上,提供一定范围的上浮空间(即弹性能力)。

若遇到突发的流量毛刺,集群不会触发限流,而是在规定范围内弹性扩缩容,超出原有带宽部分的流量按量计费。

通过合理的架构设计和灵活的产品能力,CKafka 帮助用户在云上以更低成本托管高吞吐、高可用、易用免运维的消息队列 Kafka 服务,一站式搭建数据流转链路。后续也期待与出行行业客户有更多合作,分享更多云上最佳实践。

展开阅读全文
加载中
点击引领话题📣 发布并加入讨论🔥
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部