文档章节

docker 使用elasticsearch+logstash

o
 osc_zoa3moe9
发布于 2019/12/07 10:56
字数 293
阅读 12
收藏 0

精选30+云产品,助力企业轻松上云!>>>

 1.1部署elasticsearch:6.5.4

docker pull elasticsearch:6.5.4

docker run -d --name elasticsearch -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" elasticsearch:6.5.4

http://localhost:9200/
 

 

  1.2添加elasticsearch-head

docker pull mobz/elasticsearch-head:5
docker create --name elasticsearch-head -p 9100:9100 mobz/elasticsearch-head:5
docker start elasticsearch-head

  

docker exec -it elasticsearch /bin/bash

vi config/elasticsearch.yml

在最下面添加2行

http.cors.enabled: true 
http.cors.allow-origin: "*"

 

 

 

 2.1部署logstash:6.5.4

docker pull logstash:6.5.4

  

 

2.2映射配置文件

 mkdir -p /usr/local/src/docker_logstash
 mkdir -p /usr/local/src/docker_logstash/logs

vi logstash.yml 
http.host: "0.0.0.0"
xpack.monitoring.elasticsearch.url: http://sandbox:9200
 
 

vi log4j2.properties
logger.elasticsearchoutput.name = logstash.outputs.elasticsearch
logger.elasticsearchoutput.level = debug

vi pipelines.yml
- pipeline.id: my-logstash
  path.config: "/usr/share/logstash/config/*.conf"
  pipeline.workers: 3


vi *.conf
#控制台输入
input { stdin { } }
output {
 #codec输出到控制台
stdout { codec=> rubydebug }
#输出到elasticsearch
elasticsearch {
       hosts => "sandbox:9200"
        codec => json
        }
#输出到文件
file {
    path => ""/usr/share/logstash/config/logs/all.log" #指定写入文件路径
    flush_interval => 0                  # 指定刷新间隔,0代表实时写入
    codec => json
    }
}

  

 

docker run -d -p 5044:5044 -p 9600:9600 -it --name logstash -v /usr/local/src/docker_logstash:/usr/share/logstash/config logstash:6.5.4

  

 

 

 

docker exec -it logstash /bin/bash

 bin/logstash -e 'input { stdin { } } output { stdout {} }'

  

 

 

2.3 mysql --> elasticsearch

vi mysql.conf

input {
  stdin {
  }
  jdbc {
  jdbc_connection_string => "jdbc:mysql://sandbox:3306/erp_test4"
  jdbc_user => "root"
  jdbc_password => "123456"
  jdbc_driver_library => "/usr/share/logstash/config/mysql-connector-java-5.1.27.jar"
  jdbc_driver_class => "com.mysql.jdbc.Driver"
  statement => "SELECT * FROM nrd2_project"
  type => "project"
  }
}

filter {
  json {
  source => "message"
  remove_field => ["message"]
  }
}

output {
  elasticsearch {
  hosts => "sandbox:9200"
  index => "project"
  document_id => "%{id}"
  }
  stdout {
  codec => json_lines
  }
}

  

 

 

bin/logstash -f config/mysql.conf

  

 

 

 

 

 

 

 

o
粉丝 1
博文 500
码字总数 0
作品 0
私信 提问
加载中
请先登录后再评论。
ELK(ElasticSearch+Logstash+ Kibana)搭建实时日志分析平台

ELK(ElasticSearch+Logstash+ Kibana)搭建实时日志分析平台 一、准备工具:(Centos7) 1、Elasticsearch:ElasticSearch是一个基于Lucene构建的开源,分布式,RESTful搜索引擎。设计用于云计算...

XiaoBingZ
2017/11/06
0
0
Elasticsearch学习(5) Elasticsearch+logstash +filebeat+log4j的日志系统

最近需要使用Elasticsearch做一个日志系统,本文只介绍log4j内容同步到Elasticsearch,至于日志的查询和分类,会在后面介绍。 一、配置并打开Elasticsearch   这个操作不在叙述,需要注意的...

osc_xngmlta7
2019/01/10
1
0
ELK高可用搭建---Elasticsearch配置(1)

########################ElasticSearch####################### 环境: 192.168.125.200 elasticsearch+logstash+kibana node-1 192.168.125.201 elasticsearch+logstash node-2 192.168.1......

osc_dkpofdqu
2018/03/29
13
0
ELK平台搭建(上)

一、目的 为指导在Centos6.8系统下搭建标准ELK平台的工作。 二、定义 Elasticsearch Logstash Kibana结合Redis协同工作。 三、适用范围 适用于运营维护组运维工程师,针对在系统Centos6.8下搭...

osc_o7tmguzk
2018/01/29
3
0
elasticsearch+logstash_jdbc 实现mysql数据实时同步至es

jdk安装1.8版本,es、ls、ik、kibana版本一致我这里使用的6.6.2版本 安装es cat config/elasticsearch.yml cat config/jvm.options 安装ik+pinyin分词器 启动 创建thinkcmf5索引和shop_good...

osc_q4xkkmlj
2019/04/02
2
0

没有更多内容

加载失败,请刷新页面

加载更多

python每日经典算法题5(基础题)+1(中难题)

  现在,越来越多的公司面试以及考验面试对算法要求都提高了一个层次,从现在,我讲每日抽出时间进行5+1算法题讲解,5是指基础题,1是指1道中等偏难。希望能够让大家熟练掌握python的语法结...

osc_9we1w99u
19分钟前
0
0
vue中通过路由跳转的三种方式

router-view 实现路由内容的地方,引入组件时写到需要引入的地方 需要注意的是,使用vue-router控制路由则必须router-view作为容器。 通过路由跳转的三种方式 1、router-link 【实现跳转最简...

dragon_tech
20分钟前
19
0
秃顶顶少年团-冲刺总结

这个作业属于哪个课程 https://edu.cnblogs.com/campus/zswxy/software-engineering-2017-1 这个作业要求在哪里 https://edu.cnblogs.com/campus/zswxy/software-engineering-2017-1/homewor......

osc_ed2py9ot
21分钟前
9
0
往事不堪回首

开局一张图,内容全靠编 从12年大学毕业到如今,兜兜转转,依然在码工,码农,码代码的路上徘徊着,从最初的用asp.net写站点,写内部的CRM,内部管理系统,内部的XXX,很难想象内部的系统居然...

osc_nvkeo9cj
23分钟前
10
0
一款很好用的前端公、农历转换插件

<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <meta name="viewport" content="width=device-width, initial-scale=1, maximum-scale=1, minimum-scale=1, ......

osc_qo89by3k
24分钟前
8
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部