利用 TDengine Enterprise 和 TDengine Cloud 的数据接入功能，我们现在能够将 MQTT、InfluxDB 中的数据通过规则无缝转换至 TDengine 中，在降低成本的同时，也为用户的数据转换工作提供了极大的便捷性。由于该功能在实现及使用上与 Logstash 类似，本文将结合 Logstash 为大家进行解读。
其中，Filter 是 Logstash 功能强大的主要原因，它可以对 Logstash Event 进行丰富的处理，比如解析数据、删除字段、类型转换等等，常见的有如以下几个：
date 日期解析
grok 正则匹配解析
正则表达式：
https://www.debuggex.com/
https://regexr.com/
Grok
kibana - grokdebugger
https://github.com/elastic/logstash/tree/v1.4.2/patterns
https://github.com/logstash-plugins/logstash-patterns-core
https://grokdebugger.com/
dissect 分割符解析
mutate 可以对事件中的数据进行修改，包括 rename、update、replace、convert、split、gsub、uppercase、lowercase、strip、remove_field、join、merge 等功能。
json 按照 json 解析字段内容到指定字段中
geoip 增加地理位置数据
ruby 利用 ruby 代码来动态修改 Logstash Event
filter {grok => {match => {"message" => "%{SERVICE:service}"}pattern_definitions => {"SERVICE" => "[a-z0-9]{10,11}"}}}
支持 JSON 格式：充分利用 JSON 的灵活性，使用户能够以 JSON 格式进行数据摄取和存储。机构可以有效地构建和管理数据，从复杂数据结构中挖掘有价值的见解。
支持 JSON path 提取字段：TDengine 支持 JSON path 提取，在处理 JSON 数据时更加轻松。通过精确选择和捕获所需的数据元素，用户可以专注于数据集的核心内容，最大化分析效率。
-
简单配置： 提供了易于使用的配置文件，您可以在其中指定 TDengine 的超级表、子表、列和标签，轻松定制数据接入流程以满足特定需求。
另外 TDengine 的数据接入后还可以进行数据清洗和转换，用户可以根据业务需要设计相应的数据清洗和转换规则，实现完整的数据 ETL 流程。借助上述创新功能，实时数据可以实现与高性能的 TDengine 数据库的无缝结合，实时分析、预防性维护和数据驱动决策也拥有了无限可能。
配置方法很简单，你只需要登录到 TDengine 企业版或 TDengine Cloud 的 Web 管理界面，选择 Data in 并添加 MQTT 作为数据源，简单配置一下 InfluxDB/MQTT 数据对应到 TDengine 库、超级表、子表的解析规则即可。具体配置方案可见《TDengine 推出重磅功能，让 MQTT 无缝数据接入更加简单》《TDengine 数据接入功能支持 InfluxDB 啦！》
TDengine 3.0 企业版和 TDengine Cloud 凭借简洁易用的命令行操作，为用户提供了高效、可靠的数据接入方法。无论你是想要从 InfluxDB/MQTT 迁移数据，还是想将多个数据源的数据集中到 TDengine 中，TDengine 3.0 企业版和 TDengine Cloud 都能够满足你的需求。
如果你对这一数据接入功能感兴趣或正面临数据接入难题，可以添加小T vx：tdengine，和 TDengine 的资深研发直接进行沟通。
往期推荐
👇 点击阅读原文，快速体验 TDengine 的数据接入功能！
本文分享自微信公众号 - TDengine（taosdata_news）。
如有侵权，请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”，欢迎正在阅读的你也加入，一起分享。
