文档章节

ELK资料

eddy_linux
 eddy_linux
发布于 2015/11/13 12:34
字数 1231
阅读 226
收藏 8
点赞 0
评论 0

1.ELK整体介绍(Elasticsearch + Logstash + Kibana)

    (必看) Using elasticsearch, logstash & kibana to create realtime dashboards
        https://speakerdeck.com/elasticsearch/using-elasticsearch-logstash-and-kibana-to-create-realtime-dashboards
        Elasticsearch官方的slide

    (必看) Collect & visualize your logs with Logstash, Elasticsearch & Redis
        http://michael.bouvy.net/blog/en/2013/11/19/collect-visualize-your-logs-logstash-elasticsearch-redis-kibana/
        对搭建ELK平台的具体操作做了详细介绍。

    (必看)2014 SCALE12X-Introduction to Elasticsearch, Logstash and Kibana
        https://speakerdeck.com/elasticsearch/scale-12x-introduction-to-elasticsearch-logstash-and-kibana
        Elasticsearch的说明占50%,logstash的说明占40%,Kibana的说明占10%

    使用logstash+elasticsearch+kibana快速搭建日志平台
        http://www.cnblogs.com/buzzlight/p/logstash_elasticsearch_kibana_log.html

    Kibana+Logstash+Elasticsearch 日志查询系统
        http://enable.blog.51cto.com/747951/1049411

    Log Analytics Using Elasticsearch-Logstash-Kibana(Part 1)
        http://blog.nugrahais.me/blog/2013/12/23/log-analytics-using-elasticsearch-logstash-kibana-part-1/

    Using ElasticSearch and Logstash to Serve Billions of Searchable Events for Customers
        http://www.elasticsearch.org/blog/using-elasticsearch-and-logstash-to-serve-billions-of-searchable-events-for-customers/
        使用ELK的一个介绍

    一个很简洁,很简洁的ELK介绍 (2014年9月16日更新)

        http://slides.com/garyelephant/elk-intro#/



2.logstash介绍

    (必看) Logstash -Nicolas Szalay
        http://slides.com/aurelienrougemont/logstash/

    (必看) Getting started with Logstash - New to Logstash? Start here!
        http://logstash.net/docs/1.4.0/tutorials/getting-started-with-logstash
        
    (必看) Logstash-Jordan Sissel
        http://semicomplete.com/presentations/logstash-scale11x/#/

    Logstash and friends
        http://www.slideshare.net/roidelapluie/logstash-and-friends?qid=0c61ce8f-1a87-4678-a9c7-61a18ae74993&v=default&b=&from_search=11

    Logstash
        http://www.slideshare.net/startit/logstash-29012201?qid=0c61ce8f-1a87-4678-a9c7-61a18ae74993&v=default&b=&from_search=7
        page 11 to page 32:直观的罗列了一些input,filter,output,讲解了一下grok pattern

    Starting out with grok in Logstash
        http://antonlindstrom.com/2012/09/24/starting-out-with-grok-in-logstash.html
        介绍Logstash Grok Filter

    (重要) Logstash1.4.0 Grok Filter Docs
        http://logstash.net/docs/1.4.0/filters/grok

    (重要) Logstash1.4.0 Grok Filter 的 Predefined Patterns
        https://github.com/elasticsearch/logstash/tree/v1.4.0/patterns
        如BASE10NUM的Predefined Pattern是 (?<![0-9.+-])(?>[+-]?(?:(?:[0-9]+(?:\.[0-9]+)?)|(?:\.[0-9]+)))

    (重要) http://grokdebug.herokuapp.com/
        可以用来学习和测试Grok匹配的一个网站



3.Elasticsearch介绍

    (必看) Elasticsearch :Search made easy for (web) developers
        http://spinscale.github.io/elasticsearch/2012-03-jugm.html#/

    (必看) Getting Down and dirty with Elasticsearch
        http://www.slideshare.net/clintongormley/down-and-dirty-with-elasticsearch
        200pages+的slide,对Elasticsearch的Rest API介绍的比较多

    (必看) Elasticsearch :Pluggable architecture under the hood
        http://spinscale.github.io/elasticsearch-intro-plugins/#/


    (必看) An interactive coder oriented Elasticsearch tutorial [此条目更新于2014-10-10]

        https://github.com/s1monw/hammertime

        作者是Elasticsearch的一个主要开发者。纯代码形式的tutorial,简单过了一下Es的主要功能,可以下载下来执行一下。


    (必看) Exploring Elasticsearch
        http://exploringelasticsearch.com/
        系统的介绍了Elasticsearch, 当然这本书“Elasticsearch Server”比它更全面、细节更多

    (重要) Terms of endearment - the ElasticSearch Query DSL explained
        http://www.slideshare.net/clintongormley/terms-of-endearment-the-elasticsearch-query-dsl-explained

    Apache Lucene - Query Parser Syntax
        (1) http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/query-dsl-query-string-query.html#query-string-syntax
        (2) http://lucene.apache.org/core/4_6_0/queryparser/org/apache/lucene/queryparser/classic/package-summary.html#Overview
        Lucene的Query语法格式

    Learning Elasticsearch
        http://slides.com/garyelephant/learning-elasticsearch
        推荐一下我制作的slide, 参考了很多资料集百家之所长、有针对性做的,从各方面介绍Elasticsearch, 内容不断更新中。

    (重要) Elasticsearch References: Glossary of terms
        http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/glossary.html#glossary
        Elasticsearch的一些核心概念

    (重要) What is an ElasticSearch Index?
        http://euphonious-intuition.com/2013/02/what-is-an-elasticsearch-index/
        详细介绍Index

    (重要) An introduction to mapping in elasticsearch
        http://euphonious-intuition.com/2012/07/an-introduction-to-mapping-in-elasticsearch/

    inquisitor
        https://github.com/polyfractal/elasticsearch-inquisitor
        这个elasticsearch site pluging 可以帮助你测试和理解Query, 如测试一句话使用各种analyzer分词的结果。
    
    Elasticsearch Facets
        http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/search-facets.html
    
    Elasticsearch Aggregations Overview
        http://chrissimpson.co.uk/elasticsearch-aggregations-overview.html

    Elastic Search Training#1 (brief tutorial)-ESCC#1
        http://www.slideshare.net/medcl/elastic-search-training1-brief-tutorial

    Lucene Scoring and elasticsearch’s _all Field
        http://jontai.me/blog/2012/10/lucene-scoring-and-elasticsearch-_all-field/
        Elasticsearch 数据的score计算
    
    Advanced Scoring in elasticsearch
        http://jontai.me/blog/2013/01/advanced-scoring-in-elasticsearch/
        Elasticsearch 数据的score计算



4.Elasticsearch优化

    elasticsearch configuration
        http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/setup-configuration.html#setup-configuration-memory

    elasticsearch configuration and performance tuning.html
        http://weiweiwang.github.io/elasticsearch-configuration-and-performance-tuning.html

    ElasticSearch Training#2 (advanced concepts)-ESCC#1
        http://www.slideshare.net/medcl/elastic-search-training2-advanced-concepts
        Elasticsearch的性能优化,查询优化等技巧

    Elasticsearch Java Virtual Machine settings explained
        http://jprante.github.io/2012/11/28/Elasticsearch-Java-Virtual-Machine-settings-explained.html

    ElasticSearch and Logstash Tuning
        http://jablonskis.org/2013/elasticsearch-and-logstash-tuning/
    
    Elasticsearch Plugin: Marvel 
        http://www.elasticsearch.org/overview/marvel/
        Elasticsearch.org发布的Elasticsearch集群监控工具

    Elasticsearch Plugin: Head
        https://github.com/mobz/elasticsearch-head

    Elasticsearch Plugin: Bigdesk - Live charts and statistics for elasticsearch cluster.
        http://bigdesk.org/

    Elasticsearch Plugin: Paramedic
        https://github.com/karmi/elasticsearch-paramedic

    Scaling Massive Elasticsearch Clusters
        http://www.slideshare.net/sematext/scaling-massive-elasticsearch-clusters
        Elasticsearch集群



5.Kibana介绍

    (必看) 10 Minute Walk Through Kibana
        http://www.elasticsearch.org/guide/en/kibana/current/using-kibana-for-the-first-time.html
        Elasticsearch.org官方的Guide, 最近刚发布的。
    

    Kibana Overview
        http://www.elasticsearch.org/overview/kibana/
    

    What’s Cooking in Kibana
        http://www.elasticsearch.org/blog/whats-cooking-kibana/
    

    Kibana 3: Milestone 4
        http://www.elasticsearch.org/blog/kibana-3-milestone-4/
        Kibana3.m4的新功能特性

    Kibana入門-Yusuke Mito
        https://speakerdeck.com/y310/kibanaru-men?slide=23
        page23 ~ page37  里面有各种panel的截图



6.Elasticsearch的实际应用(updated in 2014-05-05)

    Building a Recipe Search Site with Angular and Elasticsearch
        http://www.sitepoint.com/building-recipe-search-site-angular-elasticsearch/
        一个使用Angular和Elasticsearch搭建,食谱搜索应用的简单例子



7.最根本最重要的Resources

  (1) Elasticsearch团队博客,每周更新
      http://www.elasticsearch.org/blog

  (2) Elasticsearch最新版本的API References
      http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/index.html
      
  (3) logstash 1.4.0 的documents
      http://logstash.net/docs/1.4.0/

  (4) Kibana最新版本的documents
      http://www.elasticsearch.org/guide/en/kibana/current/index.html



7.推荐2本书籍

    "Elasticsearch Server"

              推荐初学者看此书,至少应看完Chapter1,Chapter2, 而且目录可以帮助你规划学习路线。

    "Mastering Elasticsearch"



本文整理的是2014年4月15日以前的学习资源,如果以后发现更优质资源,将随时更新,也欢迎读者提供资源,请私信或评论。



转载本文请注明作者和出处[Gary的影响力]http://garyelephant.me,请勿用于任何商业用途!

Author: Gary Gao( garygaowork[at]gmail.com) 关注互联网、分布式、高性能、NoSQL、自动化、软件团队


© 著作权归作者所有

共有 人打赏支持
eddy_linux
粉丝 18
博文 135
码字总数 188789
作品 0
成都
程序员
Centos6搭建elk系统,监控IIS日志

**所需程序: 服务器端:java、elasticsearch、kikbana 客 户 端:IIS、logstash** 一、服务器端(192.168.10.46)操作: 先建立一个ELK专门的目录: [root@Cent65 ~]mkdir /elk/ 上传到elk...

D杀手D ⋅ 04/24 ⋅ 0

CTO详细讲解海量日志处理ELK

ELK实时日志分析平台之Elasticsearch简介 Elasticsearch是一个高度灵活的开源全文检索和分析引擎。它能够迅速(几乎是实时地)地存储、查找和分析大规模数据。通常被用在有复杂的搜索要求的系...

Java架构分享 ⋅ 05/23 ⋅ 0

Uber jaeger--一个基于Go的分布式追踪系统

Jaeger-Uber开源的一个基于Go的分布式追踪系统 最近因工作需要在研究traing系统,最后选了jaeger,下面是一些总结,同时摘抄了网上的一些资料,并结合自己实践过程中遇到的一些什么问题,欢迎...

北极之北 ⋅ 05/30 ⋅ 0

elasticsearch-head 安装介绍

elasticsearch-head 是用于监控 Elasticsearch 状态的客户端插件,包括数据可视化、执行增删改查操作等。elasticsearch-head 插件的安装在 Linux 和 Windows 没什么区别,安装之前确保当前系...

BeckJin ⋅ 05/19 ⋅ 0

当ES赶超Redis,这份ES进修攻略不容错过!

从4月DB-Engines最新发布的全球数据库排名中,我们赫然发现ElasticSearch逆袭超越了Redis,从原先的第9名上升至第8名,而Redis则落后一名,排在了其后。 事实上,这场逆袭并不算太让人意外。...

DBAplus社群 ⋅ 04/15 ⋅ 0

elasticsearch数据库的数据修改问题

最近在学习elasticsearch数据库,但是感觉网上的资料并不是那么的丰富,大部分都是在转载elasticsearch权威指南的内容。 现在想问一下大家,当elasticsearch数据库中的数据需要批量修改的时候...

Death黎明 ⋅ 05/21 ⋅ 0

Elasticsearch中文分词研究

一、ES分析器简介 ES是一个实时搜索与数据分析引擎,为了完成搜索功能,必须对原始数据进行分析、拆解,以建立索引,从而实现搜索功能; ES对数据分析、拆解过程如下: 首先,将一块文本分成...

zhaipengfei1231 ⋅ 04/18 ⋅ 0

logstash、elasticsearch、kibana搭建日志平台

1、下载logstash a、官方下载地址:https://www.elastic.co/downloads/logstash b、解压:tar -xzvf logstash-5.1.1.tar.gz c、设置用户测试的配置文件:vim logstatsh_test.conf,编辑内容如...

binhu ⋅ 05/23 ⋅ 0

spring-data-elasticsearch 基本案例详解(三)

『 风云说:能分享自己职位的知识的领导是个好领导。 』 运行环境:JDK 7 或 8,Maven 3.0+ 技术栈:SpringBoot 1.5+, Spring Data Elasticsearch 1.5+ ,ElasticSearch 2.3.2 本文提纲 一、...

夜黑人模糊灬 ⋅ 05/13 ⋅ 0

Elastic Search学习笔记1——安装elasticsearch2.4.6

Elastic Search 简介 1.基于Apache Lucene的开源搜索引擎 2.采用Java编写 RESTful API风格 3.较容易的横向扩展 应用场景 1.海量数据分析引擎 2.数据搜索引擎 3.数据仓库 官网 https://www.el...

晨猫 ⋅ 03/09 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

从 Confluence 5.3 及其早期版本中恢复空间

如果你需要从 Confluence 5.3 及其早期版本中的导出文件恢复到晚于 Confluence 5.3 的 Confluence 中的话。你可以使用临时的 Confluence 空间安装,然后将这个 Confluence 安装实例升级到你现...

honeymose ⋅ 今天 ⋅ 0

用ZBLOG2.3博客写读书笔记网站能创造今日头条的辉煌吗?

最近两年,著名的自媒体网站今日头条可以说是火得一塌糊涂,虽然从目前来看也遇到了一点瓶颈,毕竟发展到了一定的规模,继续增长就更加难了,但如今的今日头条规模和流量已经非常大了。 我们...

原创小博客 ⋅ 今天 ⋅ 0

MyBatis四大核心概念

本文讲解 MyBatis 四大核心概念(SqlSessionFactoryBuilder、SqlSessionFactory、SqlSession、Mapper)。 MyBatis 作为互联网数据库映射工具界的“上古神器”,训有四大“神兽”,谓之:Sql...

waylau ⋅ 今天 ⋅ 0

以太坊java开发包web3j简介

web3j(org.web3j)是Java版本的以太坊JSON RPC接口协议封装实现,如果需要将你的Java应用或安卓应用接入以太坊,或者希望用java开发一个钱包应用,那么用web3j就对了。 web3j的功能相当完整...

汇智网教程 ⋅ 今天 ⋅ 0

2个线程交替打印100以内的数字

重点提示: 线程的本质上只是一个壳子,真正的逻辑其实在“竞态条件”中。 举个例子,比如本题中的打印,那么在竞态条件中,我只需要一个方法即可; 假如我的需求是2个线程,一个+1,一个-1,...

Germmy ⋅ 今天 ⋅ 0

Springboot2 之 Spring Data Redis 实现消息队列——发布/订阅模式

一般来说,消息队列有两种场景,一种是发布者订阅者模式,一种是生产者消费者模式,这里利用redis消息“发布/订阅”来简单实现订阅者模式。 实现之前先过过 redis 发布订阅的一些基础概念和操...

Simonton ⋅ 今天 ⋅ 0

error:Could not find gradle

一.更新Android Studio后打开Project,报如下错误: Error: Could not find com.android.tools.build:gradle:2.2.1. Searched in the following locations: file:/D:/software/android/andro......

Yao--靠自己 ⋅ 昨天 ⋅ 0

Spring boot 项目打包及引入本地jar包

Spring Boot 项目打包以及引入本地Jar包 [TOC] 上篇文章提到 Maven 项目添加本地jar包的三种方式 ,本篇文章记录下在实际项目中的应用。 spring boot 打包方式 我们知道,传统应用可以将程序...

Os_yxguang ⋅ 昨天 ⋅ 0

常见数据结构(二)-树(二叉树,红黑树,B树)

本文介绍数据结构中几种常见的树:二分查找树,2-3树,红黑树,B树 写在前面 本文所有图片均截图自coursera上普林斯顿的课程《Algorithms, Part I》中的Slides 相关命题的证明可参考《算法(第...

浮躁的码农 ⋅ 昨天 ⋅ 0

android -------- 混淆打包报错 (warning - InnerClass ...)

最近做Android混淆打包遇到一些问题,Android Sdutio 3.1 版本打包的 错误如下: Android studio warning - InnerClass annotations are missing corresponding EnclosingMember annotation......

切切歆语 ⋅ 昨天 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部