文档章节

部署安装实时日志分析ELK过程

JonyQ
 JonyQ
发布于 2015/11/15 22:03
字数 1289
阅读 59
收藏 1
点赞 0
评论 0

部署安装实时日志分析ELK过程

centos6.5  64位操作系统

1、建立使用用户

   useradd qiaozy -d /home/qiaozy -s /bin/bash

2/下载java环境

页面对应操作系统版本下载最新版本

http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

使用root用户上传java包 ,赋予qiaozy用户执行权限

chown qiaozy:qiaozy  jdk-8u65-linux-x64.tar.gz

       ##测试下载版本为javase   jdk1.8.0_65


环境变量文件.bashrc  文件最后添加环境变量

$vi .bashrc

ELK_HOME=/home/qiaozy

JAVA_HOME=$ELK_HOME/jdk1.8.0_65

JRE_HOME=$JAVA_HOME/jre

TCL_HOME=$ELK_HOME/ActiveTcl-8.6

CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib:$TCL_HOME/lib:$CLASSPATH

PATH=$JAVA_HOME/bin:$TCL_HOME/bin:$PATH

REDIS_HOME=$ELK_HOME/redis

ES_HOME=$ELK_HOME/elasticsearch

ES_CLASSPATH=$ES_HOME/config

添加完成后,

#source .bashrc    

#java -version      测试是否符合1.8版本

下载符合要求的tcl

http://downloads.activestate.com/ActiveTcl/releases/8.6.4.1/ActiveTcl8.6.4.1.299124-linux-x86_64-threaded.tar.gz

下载tcl速度还是香港服务器快,通过香港服务器下载 再传到阿里云服务器 再到本地。。。

$ tar -zxvf ActiveTcl8.6.4.1.299124-linux-x86_64-threaded.tar.gz 

$ cd ActiveTcl8.6.4.1.299124-linux-x86_64-threaded

$ ./install.sh

根据提示内容进行安装,安装路径设定为ActiveTcl-8.6 

TCL_HOME一定要和环境变量中路径一致

安装完成后在/etc/profile最后添加内容

ELK_HOME=/home/qiaozy

JAVA_HOME=$ELK_HOME/jdk1.8.0_65

JRE_HOME=$JAVA_HOME/jre

TCL_HOME=$ELK_HOME/ActiveTcl-8.6

CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib:$TCL_HOME/lib:$CLASSPATH

PATH=$JAVA_HOME/bin:$TCL_HOME/bin:$PATH

REDIS_HOME=$ELK_HOME/redis

ES_HOME=$ELK_HOME/elasticsearch

ES_CLASSPATH=$ES_HOME/config



下载redis最新版本root用户安装启动

http://download.redis.io/releases/redis-3.0.5.tar.gz

#tar -zxvf redis-3.0.5.tar.gz 

# cd redis

# make test            检查是否存在可安装问题

# make && make install

#cd utils
#./install_server.sh


采用默认配置即可


编辑配置文件

vi /etc/redis/6379.conf

  daemonize yes

  port 6379                    ##启动端口在安装的时候配置

timeout 300

tcp-keepalive 60

启动

/etc/init.d/redis_6379 start

exists, process is already running or crashed

如报这个错,需要编辑下/etc/init.d/redis_6379,去除头上的\n

加入自动启动

chkconfig  --add redis_6379

下载ELK程序包: 

https://download.elastic.co/kibana/kibana/kibana-4.2.0-linux-x64.tar.gz

https://download.elastic.co/logstash/logstash/logstash-2.0.0.tar.gz

https://download.elasticsearch.org/elasticsearch/release/org/elasticsearch/distribution/tar/elasticsearch/2.0.0/elasticsearch-2.0.0.tar.gz

安装elasticsearch-2.0.0.tar.gz

使用应用用户执行以下操作,root用户不支持启动

$ tar zxvf elasticsearch-2.0.0.tar.gz

$ ln -s elasticsearch-2.0.0 elasticsearch

后台启动进程

$ ./elasticsearch -d

确认 elasticsearch  9200 端口已监听,说明 elasticsearch 已成功运行

# netstat -anp |grep :9200tcp        0      0 127.0.0.1:9200              0.0.0.0:*                   LISTEN


测试可用性

curl -i -XGET 'localhost:9200/'

$ curl -i -XGET 'localhost:9200/'

HTTP/1.1 200 OK

Content-Type: application/json; charset=UTF-8

Content-Length: 319


{

  "name" : "Meteor Man",

  "cluster_name" : "elasticsearch",

  "version" : {

    "number" : "2.0.0",

    "build_hash" : "de54438d6af8f9340d50c5c786151783ce7d6be5",

    "build_timestamp" : "2015-10-22T08:09:48Z",

    "build_snapshot" : false,

    "lucene_version" : "5.2.1"

  },

  "tagline" : "You Know, for Search"

}

-----------------------安装elastic插件----------------

安装步骤参考https://www.elastic.co/downloads/marvel

 ./bin/plugin install lisence

$ ./bin/plugin install marver-agent

$......

安装时因网络连接失败可以多尝试几次

bin/elasticsearch >nohup &


安装logstash

$ tar zxvf  logstash-2.0.0.tar.gz

bin/logstash -e 'input { stdin { } } output { stdout {} }'

输入hello

Default settings used: Filter workers: 1

Logstash startup completed

2015-11-13T01:46:37.857Z iZ25cbhzp2kZ hello

使用CTRL-C命令可以退出之前运行的Logstash

创建一个简单的配置文件,并且指定logstash使用这个配置文件。 例如:在 logstash 安装目录下创建一个“基本配置”测试文件 logstash-test.conf, 文件内容如下:

# cat logstash-simple.confinput { stdin { } }
output {
   stdout { codec=> rubydebug }
}

Logstash 使用 input  output 定义收集日志时的输入和输出的相关配置,本例中input 定义了一个叫 "stdin"  input  output 定义一个叫 "stdout"  output 。无论我们输入什么字符, Logstash 都会按照某种格式来返回我们输入的字符,其中 output 被定义为 "stdout" 并使用了 codec 参数来指定 logstash 输出格式。

使用logstash的-f参数来读取配置文件,执行如下开始进行测试:


$ echo "`date`  hello World"

Fri Nov 13 09:53:47 CST 2015  hello World

$ bin/logstash agent -f ./conf/logstash-simple.conf

Fri Nov 13 09:53:47 CST 2015  hello World

Default settings used: Filter workers: 1

Logstash startup completed

{

       "message" => "Fri Nov 13 09:53:47 CST 2015  hello World",

      "@version" => "1",

    "@timestamp" => "2015-11-13T01:56:48.081Z",

          "host" => "iZ25cbhzp2kZ"

}

To verify your configuration, run the following command:

bin/logstash -f first-pipeline.conf --configtest
The --configtest option parses your configuration file and reports any errors. When the configuration file passes the configuration test, start Logstash with the following command:
bin/logstash -f first-pipeline.confTry a test query to Elasticsearch based on the fields created by the grok filter plugin:curl -XGET 'localhost:9200/logstash-$DATE/_search?q=response=401'

安装kibana

$ tar zxvf  kibana-4.2.0-linux-x64.tar.gz

$ ln -s kibana-4.2.0-linux-x64 kibana

启动

$./kibana

安装完成!

安装参考:

http://www.blogjava.net/paulwong/archive/2015/02/17/422972.html

http://www.tuicool.com/articles/QFvARfr

后续调测参考:

https://www.elastic.co/guide/en/logstash/current/first-event.html

http://udn.yyuap.com/doc/logstash-best-practice-cn/filter/grok.html

其他参考文档:

----------------------------syslog-ng系统日志-------------

定义syslog-ng,首先安装syslog-ng,通过yum方式安装

yum install syslog-ng.x86_64

----------------------------syslog-ng--------------------

-----------------------安装apache start--------------------------

下载apache的最新安装包(http://archive.apache.org/dist/httpd/httpd-2.4.17.tar.gz
下载php的最新安装包(http://cn2.php.net/distributions/php-5.5.29.tar.gz

apache版本要使用

ftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre/pcre2-10.10.tar.gz

http://apache.fayea.com//apr/apr-1.5.2.tar.gz;

http://mirror.esocc.com/apache//apr/apr-util-1.5.4.tar.gz

yum install pcre-devel.x86_64

编译apache   在2.4之后的版本需要自行编译2.4版的已经不自带apr库

tar zxf apr-1.5.2.tar.gz && cp -fr apr-1.5.2 ./httpd-2.4.17/srclib/apr
tar zxf apr-util-1.5.4.tar.gz && cp -fr apr-util-1.5.4 ./httpd-2.4.17/srclib/apr-util

# ./configure --prefix=apache安装路径 --with-included-apr

# make && make install

添加环境变量

APACHE_HOME=$ELK_HOME/apache2

CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib:$TCL_HOME/lib:$APACHE_HOME/lib:$CLASSPATH

PATH=$JAVA_HOME/bin:$TCL_HOME/bin:$APACHE_HOME/bin:$PATH

-----------------------安装apache end--------------------------




© 著作权归作者所有

共有 人打赏支持
JonyQ
粉丝 0
博文 6
码字总数 2058
作品 0
海淀
CTO详细讲解海量日志处理ELK

ELK实时日志分析平台之Elasticsearch简介 Elasticsearch是一个高度灵活的开源全文检索和分析引擎。它能够迅速(几乎是实时地)地存储、查找和分析大规模数据。通常被用在有复杂的搜索要求的系...

Java架构分享
05/23
0
0
简单安装ELK分析日志及使用心得

ELK是由Elasticsearch、Logstash、Kibana三个组件组成的。 Elasticsearch:是ELK的核心插件,是一个基于Lucene的搜索服务器,它提供一个分布式多用户能力的全文搜索引擎,能够达到实时搜索,...

狼叔LSF
06/10
0
0
初探 ELK - 每天5分钟玩转 Docker 容器技术(89)

在开源的日志管理方案中,最出名的莫过于 ELK 了。ELK 是三个软件的合称:Elasticsearch、Logstash、Kibana。 Elasticsearch 一个近乎实时查询的全文搜索引擎。Elasticsearch 的设计目标就是...

CloudMAN
2017/11/03
0
0
CentOS7.3下ELK日志分析系统集群搭建

Elasticsearch是个基于Lucene实现的开源、分布式、restful的全文本搜索引擎,此外他还是一个分布式实时文档存储,其中每个文档的每个filed均是可被索引的数据,且可被搜索,也是一个带实时分...

wujunqi1996
07/14
0
0
小白都会超详细--ELK日志管理平台搭建教程

目录 一、介绍 二、安装JDK 三、安装Elasticsearch 四、安装Logstash 五、安装Kibana 六、Kibana简单使用 系统环境:CentOS Linux release 7.4.1708 (Core) 当前问题状况 开发人员不能登录线...

渣渣辉
07/15
0
0
使用logstash+elasticsearch+kibana快速搭建日志平台

日志的分析和监控在系统开发中占非常重要的地位,系统越复杂,日志的分析和监控就越重要,常见的需求有: 根据关键字查询日志详情 监控系统的运行状况 统计分析,比如接口的调用次数、执行时间...

eddy_linux
2015/11/13
0
0
基于ELK实时日志分析的最佳实践

在2018云栖大会深圳峰会大数据分析与可视化专场上,由阿里巴巴搜索引擎事业部开放搜索团队的吴迪带来了“基于ELK实时日志分析的最佳实践”的主题分享。介绍了传统的日志分析、ELK的概念和ELK...

smile小太阳
05/06
0
0
ELK+Filebeat+Nginx集中式日志解决方案(一)

一、使用说明: ELK 不是一款软件,而是 Elasticsearch、Logstash 和 Kibana 三种软件产品的首字母缩写。这三者都是开源软件,通常配合使用,而且又先后归于 Elastic.co 公司名下,所以被简称...

在下郑小明
06/26
0
0
ELK系列一:ELK安装配置及nginx日志分析

本文分三个部分介绍了elk、elk安装配置及基于filebeat分析nginx日志的配置。 第一部分:elk介绍 一、什么是elk ELK 其实并不是一款软件,而是一整套解决方案,是三个软件产品的首字母缩写,E...

hnr1017
07/03
0
0
ELK实时日志分析平台部署搭建详细实现过程

原文地址:http://www.linuxidc.com/Linux/2016-09/135137.htm 1、ELK平台介绍 在搜索ELK资料的时候,发现这篇文章比较好,于是摘抄一小段: 日志主要包括系统日志、应用程序日志和安全日志。...

tanga842428
2017/07/27
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

OSChina 周一乱弹 —— 你的朋友圈有点生锈了

Osc乱弹歌单(2018)请戳(这里) 【今日歌曲】 @Devoes :分享Trademark的单曲《Only Love (电视剧《妙手仁心 II》插曲)》: 《Only Love (电视剧《妙手仁心 II》插曲)》- Trademark 手机党少...

小小编辑
今天
162
7
【面试题】盲人坐飞机

有100位乘客乘坐飞机,其中有一位是盲人,每位乘客都按自己的座位号就坐。由于盲人看不见自己的座位号,所以他可能会坐错位置,而自己的座位被占的乘客会随便找个座位就坐。问所有乘客都坐对...

garkey
今天
1
0
谈谈神秘的ES6——(二)ES6的变量

谈谈神秘的ES6——(二)ES6的变量 我们在《零基础入门JavaScript》的时候就说过,在ES5里,变量是有弊端的,我们先来回顾一下。 首先,在ES5中,我们所有的变量都是通过关键字var来定义的。...

JandenMa
今天
1
0
arts-week1

Algorithm 594. Longest Harmonious Subsequence - LeetCode 274. H-Index - LeetCode 219. Contains Duplicate II - LeetCode 217. Contains Duplicate - LeetCode 438. Find All Anagrams ......

yysue
今天
2
0
NNS拍卖合约

前言 关于NNS的介绍,这里就不多做描述,相关的信息可以查看NNS的白皮书http://doc.neons.name/zh_CN/latest/nns_background.html。 首先nns中使用的竞价货币是sgas,关于sgas介绍可以戳htt...

红烧飞鱼
今天
1
0
Java IO类库之管道流PipeInputStream与PipeOutputStream

一、java管道流介绍 在java多线程通信中管道通信是一种重要的通信方式,在java中我们通过配套使用管道输出流PipedOutputStream和管道输入流PipedInputStream完成线程间通信。多线程管道通信的...

老韭菜
今天
0
0
AB 压力测试

Ubuntu 安装AB apapt-get install apache2-utils 使用AB 压力测试 -c 并发数 -n请求总数 ab -c 3000 -n 10000 http://localhost/test/index.php AB只能测试localhost 返回结果 This is Apac......

xiawet
今天
0
0
用Python绘制红楼梦词云图,竟然发现了这个!

Python在数据分析中越来越受欢迎,已经达到了统计学家对R的喜爱程度,Python的拥护者们当然不会落后于R,开发了一个个好玩的数据分析工具,下面我们来看看如何使用Python,来读红楼梦,绘制小...

猫咪编程
今天
1
0
Java中 发出请求获取别人的数据(阿里云 查询IP归属地)

1.效果 调用阿里云的接口 去定位IP地址 2. 代码 /** * 1. Java中远程调用方法 * http://localhost:8080/mavenssm20180519/invokingUrl.action * @Title: invokingUrl * @Description: * @ret......

Lucky_Me
今天
1
0
protobuf学习笔记

相关文档 Protocol buffers(protobuf)入门简介及性能分析 Protobuf学习 - 入门

OSC_fly
昨天
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部