文档章节

部署安装实时日志分析ELK过程

JonyQ
 JonyQ
发布于 2015/11/15 22:03
字数 1289
阅读 59
收藏 1

部署安装实时日志分析ELK过程

centos6.5  64位操作系统

1、建立使用用户

   useradd qiaozy -d /home/qiaozy -s /bin/bash

2/下载java环境

页面对应操作系统版本下载最新版本

http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

使用root用户上传java包 ,赋予qiaozy用户执行权限

chown qiaozy:qiaozy  jdk-8u65-linux-x64.tar.gz

       ##测试下载版本为javase   jdk1.8.0_65


环境变量文件.bashrc  文件最后添加环境变量

$vi .bashrc

ELK_HOME=/home/qiaozy

JAVA_HOME=$ELK_HOME/jdk1.8.0_65

JRE_HOME=$JAVA_HOME/jre

TCL_HOME=$ELK_HOME/ActiveTcl-8.6

CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib:$TCL_HOME/lib:$CLASSPATH

PATH=$JAVA_HOME/bin:$TCL_HOME/bin:$PATH

REDIS_HOME=$ELK_HOME/redis

ES_HOME=$ELK_HOME/elasticsearch

ES_CLASSPATH=$ES_HOME/config

添加完成后,

#source .bashrc    

#java -version      测试是否符合1.8版本

下载符合要求的tcl

http://downloads.activestate.com/ActiveTcl/releases/8.6.4.1/ActiveTcl8.6.4.1.299124-linux-x86_64-threaded.tar.gz

下载tcl速度还是香港服务器快,通过香港服务器下载 再传到阿里云服务器 再到本地。。。

$ tar -zxvf ActiveTcl8.6.4.1.299124-linux-x86_64-threaded.tar.gz 

$ cd ActiveTcl8.6.4.1.299124-linux-x86_64-threaded

$ ./install.sh

根据提示内容进行安装,安装路径设定为ActiveTcl-8.6 

TCL_HOME一定要和环境变量中路径一致

安装完成后在/etc/profile最后添加内容

ELK_HOME=/home/qiaozy

JAVA_HOME=$ELK_HOME/jdk1.8.0_65

JRE_HOME=$JAVA_HOME/jre

TCL_HOME=$ELK_HOME/ActiveTcl-8.6

CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib:$TCL_HOME/lib:$CLASSPATH

PATH=$JAVA_HOME/bin:$TCL_HOME/bin:$PATH

REDIS_HOME=$ELK_HOME/redis

ES_HOME=$ELK_HOME/elasticsearch

ES_CLASSPATH=$ES_HOME/config



下载redis最新版本root用户安装启动

http://download.redis.io/releases/redis-3.0.5.tar.gz

#tar -zxvf redis-3.0.5.tar.gz 

# cd redis

# make test            检查是否存在可安装问题

# make && make install

#cd utils
#./install_server.sh


采用默认配置即可


编辑配置文件

vi /etc/redis/6379.conf

  daemonize yes

  port 6379                    ##启动端口在安装的时候配置

timeout 300

tcp-keepalive 60

启动

/etc/init.d/redis_6379 start

exists, process is already running or crashed

如报这个错,需要编辑下/etc/init.d/redis_6379,去除头上的\n

加入自动启动

chkconfig  --add redis_6379

下载ELK程序包: 

https://download.elastic.co/kibana/kibana/kibana-4.2.0-linux-x64.tar.gz

https://download.elastic.co/logstash/logstash/logstash-2.0.0.tar.gz

https://download.elasticsearch.org/elasticsearch/release/org/elasticsearch/distribution/tar/elasticsearch/2.0.0/elasticsearch-2.0.0.tar.gz

安装elasticsearch-2.0.0.tar.gz

使用应用用户执行以下操作,root用户不支持启动

$ tar zxvf elasticsearch-2.0.0.tar.gz

$ ln -s elasticsearch-2.0.0 elasticsearch

后台启动进程

$ ./elasticsearch -d

确认 elasticsearch  9200 端口已监听,说明 elasticsearch 已成功运行

# netstat -anp |grep :9200tcp        0      0 127.0.0.1:9200              0.0.0.0:*                   LISTEN


测试可用性

curl -i -XGET 'localhost:9200/'

$ curl -i -XGET 'localhost:9200/'

HTTP/1.1 200 OK

Content-Type: application/json; charset=UTF-8

Content-Length: 319


{

  "name" : "Meteor Man",

  "cluster_name" : "elasticsearch",

  "version" : {

    "number" : "2.0.0",

    "build_hash" : "de54438d6af8f9340d50c5c786151783ce7d6be5",

    "build_timestamp" : "2015-10-22T08:09:48Z",

    "build_snapshot" : false,

    "lucene_version" : "5.2.1"

  },

  "tagline" : "You Know, for Search"

}

-----------------------安装elastic插件----------------

安装步骤参考https://www.elastic.co/downloads/marvel

 ./bin/plugin install lisence

$ ./bin/plugin install marver-agent

$......

安装时因网络连接失败可以多尝试几次

bin/elasticsearch >nohup &


安装logstash

$ tar zxvf  logstash-2.0.0.tar.gz

bin/logstash -e 'input { stdin { } } output { stdout {} }'

输入hello

Default settings used: Filter workers: 1

Logstash startup completed

2015-11-13T01:46:37.857Z iZ25cbhzp2kZ hello

使用CTRL-C命令可以退出之前运行的Logstash

创建一个简单的配置文件,并且指定logstash使用这个配置文件。 例如:在 logstash 安装目录下创建一个“基本配置”测试文件 logstash-test.conf, 文件内容如下:

# cat logstash-simple.confinput { stdin { } }
output {
   stdout { codec=> rubydebug }
}

Logstash 使用 input  output 定义收集日志时的输入和输出的相关配置,本例中input 定义了一个叫 "stdin"  input  output 定义一个叫 "stdout"  output 。无论我们输入什么字符, Logstash 都会按照某种格式来返回我们输入的字符,其中 output 被定义为 "stdout" 并使用了 codec 参数来指定 logstash 输出格式。

使用logstash的-f参数来读取配置文件,执行如下开始进行测试:


$ echo "`date`  hello World"

Fri Nov 13 09:53:47 CST 2015  hello World

$ bin/logstash agent -f ./conf/logstash-simple.conf

Fri Nov 13 09:53:47 CST 2015  hello World

Default settings used: Filter workers: 1

Logstash startup completed

{

       "message" => "Fri Nov 13 09:53:47 CST 2015  hello World",

      "@version" => "1",

    "@timestamp" => "2015-11-13T01:56:48.081Z",

          "host" => "iZ25cbhzp2kZ"

}

To verify your configuration, run the following command:

bin/logstash -f first-pipeline.conf --configtest
The --configtest option parses your configuration file and reports any errors. When the configuration file passes the configuration test, start Logstash with the following command:
bin/logstash -f first-pipeline.confTry a test query to Elasticsearch based on the fields created by the grok filter plugin:curl -XGET 'localhost:9200/logstash-$DATE/_search?q=response=401'

安装kibana

$ tar zxvf  kibana-4.2.0-linux-x64.tar.gz

$ ln -s kibana-4.2.0-linux-x64 kibana

启动

$./kibana

安装完成!

安装参考:

http://www.blogjava.net/paulwong/archive/2015/02/17/422972.html

http://www.tuicool.com/articles/QFvARfr

后续调测参考:

https://www.elastic.co/guide/en/logstash/current/first-event.html

http://udn.yyuap.com/doc/logstash-best-practice-cn/filter/grok.html

其他参考文档:

----------------------------syslog-ng系统日志-------------

定义syslog-ng,首先安装syslog-ng,通过yum方式安装

yum install syslog-ng.x86_64

----------------------------syslog-ng--------------------

-----------------------安装apache start--------------------------

下载apache的最新安装包(http://archive.apache.org/dist/httpd/httpd-2.4.17.tar.gz
下载php的最新安装包(http://cn2.php.net/distributions/php-5.5.29.tar.gz

apache版本要使用

ftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre/pcre2-10.10.tar.gz

http://apache.fayea.com//apr/apr-1.5.2.tar.gz;

http://mirror.esocc.com/apache//apr/apr-util-1.5.4.tar.gz

yum install pcre-devel.x86_64

编译apache   在2.4之后的版本需要自行编译2.4版的已经不自带apr库

tar zxf apr-1.5.2.tar.gz && cp -fr apr-1.5.2 ./httpd-2.4.17/srclib/apr
tar zxf apr-util-1.5.4.tar.gz && cp -fr apr-util-1.5.4 ./httpd-2.4.17/srclib/apr-util

# ./configure --prefix=apache安装路径 --with-included-apr

# make && make install

添加环境变量

APACHE_HOME=$ELK_HOME/apache2

CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib:$TCL_HOME/lib:$APACHE_HOME/lib:$CLASSPATH

PATH=$JAVA_HOME/bin:$TCL_HOME/bin:$APACHE_HOME/bin:$PATH

-----------------------安装apache end--------------------------




© 著作权归作者所有

共有 人打赏支持
JonyQ
粉丝 0
博文 6
码字总数 2058
作品 0
海淀
私信 提问
CTO详细讲解海量日志处理ELK

ELK实时日志分析平台之Elasticsearch简介 Elasticsearch是一个高度灵活的开源全文检索和分析引擎。它能够迅速(几乎是实时地)地存储、查找和分析大规模数据。通常被用在有复杂的搜索要求的系...

Java架构分享
05/23
0
0
简单安装ELK分析日志及使用心得

ELK是由Elasticsearch、Logstash、Kibana三个组件组成的。 Elasticsearch:是ELK的核心插件,是一个基于Lucene的搜索服务器,它提供一个分布式多用户能力的全文搜索引擎,能够达到实时搜索,...

狼叔LSF
06/10
0
0
ELK技术栈ElasticSearch,Logstash,Kibana

基础部分 工作原理 es增删改内部原理 ELK集群安装部署 文档管理 索引管理 搜索 聚合分析 分词 数据建模 Java api 零停机 index segment merge 乐观锁并发控制 索引别名 相关度评分算法与定制...

马士兵优效学院
08/19
0
0
初探 ELK - 每天5分钟玩转 Docker 容器技术(89)

在开源的日志管理方案中,最出名的莫过于 ELK 了。ELK 是三个软件的合称:Elasticsearch、Logstash、Kibana。 Elasticsearch 一个近乎实时查询的全文搜索引擎。Elasticsearch 的设计目标就是...

CloudMAN
2017/11/03
0
0
使用logstash+elasticsearch+kibana快速搭建日志平台

日志的分析和监控在系统开发中占非常重要的地位,系统越复杂,日志的分析和监控就越重要,常见的需求有: 根据关键字查询日志详情 监控系统的运行状况 统计分析,比如接口的调用次数、执行时间...

eddy_linux
2015/11/13
0
0

没有更多内容

加载失败,请刷新页面

加载更多

Kubernetes里的secret最基本的用法

Secret解决了密码、token、密钥等敏感数据的配置问题,使用Secret可以避免把这些敏感数据以明文的形式暴露到镜像或者Pod Spec中。 Secret可以以Volume或者环境变量的方式使用。 使用如下命令...

JerryWang_SAP
16分钟前
1
0
可重入锁和非可重入锁

广义上的可重入锁指的是可重复可递归调用的锁,在外层使用锁之后,在内层仍然可以使用,并且不发生死锁(前提得是同一个对象或者class),这样的锁就叫做可重入锁。 可重入锁: ReentrantLoc...

狼王黄师傅
21分钟前
1
0
2018-11-20学习笔记

1. python数据类型: 给变量赋值什么样的值,变量就是什么样的类型 给变量赋值整数,变量就是整数类型 给变量赋值字符串,变量就是字符串类型 123 和“123”一样吗? 在python中 单引号 与双...

laoba
35分钟前
1
0
使用 React 和 Vue 创建相同的应用,他们有什么差异?

在工作中应用 Vue 之后,我对它有了相当深刻的理解。 不过,俗话说「外国的月亮比较圆」,我好奇「外国的」 React 是怎么样的。 我阅读了 React 文档并观看了一些教程视频,虽然它们很棒,但...

阿K1225
44分钟前
2
0
2天闭门培训|以太坊智能合约从入门到实战(北京)

2天培训 16个课时 探寻技术原理,精通以太坊智能合约开发 以太坊智能合约是现在应用的最广泛的区块链应用开发方式,HiBlock区块链社区针对以太坊智能合约的学习特别推出2天闭门研修班,通过2...

HiBlock
今天
1
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部