文档章节

logstash同步mysql数据失败

o
 osc_y8yehimr
发布于 2019/03/20 11:10
字数 243
阅读 8
收藏 0

精选30+云产品,助力企业轻松上云!>>>

 

问题描述

前提:

项目采用Elasticsearch提供搜索服务,Mysql提供存储服务,通过Logstash将Mysql中数据同步到Elasticsearch。

 

问题:

使用logstash-jdbc-input插件同步Mysql中的两张表时,一张表的数据完整的存到了ES中,而另一张表没有任何数据插入

原因分析

1、查询语句错误,将语句放入命令行中查询,查询成功,排除

2、jdbc插件只支持一次查询,经网上搜索资料,确认jdbc可以并发执行多次查询

3、对比两张表结构,对比过程中发现无数据插入的那张表中存在"type"字段,想到jdbc插件中有关键字“type”,用来命名索引下的类型,猜测是因为这个原因导致数据无法插入,经验证,确实如此。

解决方案

修改表中“type”字段名为"category",重新执行查询,成功。

 

o
粉丝 0
博文 500
码字总数 0
作品 0
私信 提问
加载中
请先登录后再评论。
实现ES和MySQL数据库同步解决方案

Logstash 实现ES 与数据库同步: 使用定时器(使用sql 定时的去查询数据进行同步)、实现方式比较简单。 2. MQ 实现 ES 与数据库同步: 实时性,消息放到MQ中,消费者会自动的消费,复杂性更高...

code-ortaerc
03/12
254
0
canal 实现Mysql到Elasticsearch实时增量同步

简介: MySQL是一个关系型数据库管理系统,由瑞典MySQL AB 公司开发,目前属于 Oracle 旗下产品。MySQL是一种关系数据库管理系统,关系数据库将数据保存在不同的表中,而不是将所有数据放在一...

osc_arj2xsvk
2019/12/24
2
0
《ElasticSearch6.x实战教程》之实战ELK日志分析系统、多数据源同步

第十章-实战:ELK日志分析系统 关注公众号:CoderBuff,回复“es”获取《ElasticSearch6.x实战教程》完整版PDF。 ElasticSearch、Logstash、Kibana简称ELK系统,主要用于日志的收集与分析。 ...

osc_6oe4sgbd
2019/07/24
12
0
实现logstash6.4.3 同步mysql数据到Elasticsearch6.4.3

本文旨在实践把mysql已有的数据同步到elasticsearch中,使用的版本是6.4.3,对于其它6.x版本理应是一样的处理方式。 本文目录: 1.初始化Elasticsearch 6.4.3 1.1 下载Elasticsearch 6.4.3 1...

osc_rs0lpejm
2018/11/12
2
0
从零搭建 ES 搜索服务(二)基础搜索

一、前言 上篇介绍了 ES 的基本概念及环境搭建,本篇将结合实际需求介绍整个实现过程及核心代码。 二、安装 ES ik 分析器插件 2.1 ik 分析器简介 GitHub 地址:https://github.com/medcl/el...

osc_feymneeg
2019/03/08
1
0

没有更多内容

加载失败,请刷新页面

加载更多

Hacker News 简讯 2020-07-11

更新时间: 2020-07-11 01:01 Disabling Google 2FA Doesn't Need 2FA - (infoq.com) 禁用google2fa不需要2FA 得分:98 | 评论:33 Rackspace S-1 - (sec.gov) 机架空间S-1 得分:59 | 评论:20 S......

FalconChen
今天
142
0
是否有可能从另一个git存储库中挑选一个提交? - Is it possible to cherry-pick a commit from another git repository?

问题: I'm working with a git repository that needs a commit from another git repository that knows nothing of the first. 我正在使用一个git存储库,需要从另一个不知道第一个存储库......

技术盛宴
昨天
29
0
【LeetCode】53 盛最多水的容器

题目 解题思路 双指针法: https://leetcode-cn.com/problems/container-with-most-water/solution/sheng-zui-duo-shui-de-rong-qi-by-leetcode-solution/ 代码 public class Solution { ......

JaneRoad
昨天
20
0
阿里云OSS配置CDN加速

首先购买CDN流量包 然后添加域名 添加好后 然后将域名OSS.xxxx.com 解析到 生成的CDN域名上 这样就完成了

可达鸭眉头一皱
昨天
16
0
js 整数与小数正则替换片段

说明 /(\d+)/g 整数 /(\d+\.\d+)rem/g 小数 /(\d+\.\d+|\d+)rem/g 其中 | 或 条件 例子 全局查找带 rem 单位的,替换成 px 单位 let text = text.replace(/(\d+\.\d+|\d+)rem/g, function(s......

DrChenXX
昨天
17
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部