文档章节

专注于日志分析的人们——elastic

江边望海
 江边望海
发布于 2016/11/02 09:08
字数 2001
阅读 510
收藏 16
点赞 0
评论 0

1.弹性数据分析技术栈

1.1.Kibana

Kibana 是一个为 Logstash 和 ElasticSearch 提供的日志分析的 Web 接口。可使用它对日志进行高效的搜索、可视化、分析等各种操作。

1.2.Logstash

Logstash 是一个应用程序日志、事件的传输、处理、管理和搜索的平台。你可以用它来统一对应用程序日志进行收集管理,提供 Web 接口用于查询和统计。

1.3.ElasticSearch

Elastic Search 是一个基于Lucene构建的开源,分布式,RESTful搜索引擎。设计用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便。支持通过HTTP使用JSON进行数据索引。

1.4.Beats

Beats是elasticsearch公司开源的一款采集系统监控数据的代理agent,它可以发送不同类型的数据到elasticsearch中,也可以行将采集完的数据发送到logstash中转,然后在推送到elasticsearch中,目前还在发展中,与成熟的监控系统zabbix和ganglia相比就界面看起来爽了点,系统功能还是有点弱,不过与elasticsearch全文搜索框架集成后,数据查询过滤功能非常强悍,还是非常有前途 

2.公司简介

以上是 elastic 公司解决大数据分析,特别是日益增长的日志分析难题的解决方案。以下是 elastic 公司的简介:

Elastic在2012年在阿姆斯特丹由Elasticsearch和Apache Lucene背后的人成立,Elastic提出了一个愿景,搜索可以解决大量的数据问题。公司的起源始于2010年,当时Shay Banon写了Elasticsearch的第一行,并将其作为分布式搜索引擎开源。随着云计算的兴起和IT基础设施的需求的变化,例如对无限数量的结构化和非结构化数据的实时搜索,Shay预见到需要一种新型软件来解决当今的现实数据问题。 Steven Schuurman,Uri Boness和Simon Willnauer分享了Shay的愿景,共同创造了我们今天拥有的弹性公司。从那时起,Kibana,Logstash和Beats的创作者加入了Elastic家族,围绕着一个叫做Elastic Stack的产品组合,它被世界各地的数百万开发者使用。 Elastic家族将32个国家的员工团结成一个连贯的团队,而更广泛的社区遍布100多个国家。

英文原文:

Founded in 2012 in Amsterdam by the people behind Elasticsearch and Apache Lucene, Elastic set forth a vision that search can solve a plethora of data problems. The origins of the company start back in 2010, when Shay Banon wrote the first lines of Elasticsearch and open sourced it as a distributed search engine. With the rise of cloud computing and changes in IT infrastructure demanding requirements such as real-time search across infinite amounts of structured and unstructured data, Shay foresaw the need for a new type of software to solve today's real-world data problems. Steven Schuurman, Uri Boness, and Simon Willnauer shared in Shay's vision, joining forces to create the Elastic company we have today. Since then, the creators of Kibana, Logstash, and Beats have joined the Elastic family, rounding out a product portfolio known as the Elastic Stack, which is used by millions of developers around the world. The Elastic family unites employees across 32 countries into one coherent team, while the broader community spans across over 100 countries.

摘自:https://www.elastic.co/about

中文翻译是我通过谷歌翻译得到的。

3.发展速度

elastic的发展速度可以用打飞的来形容:

  1. Elastic创立于2012年;Elastic由首席技术官Shay Banon和首席执行官Steven Schuurman共同创建。
  2. 2012年11月获得1000万美元的融资;
  3. 2013年2月获得2400万美元的B轮融资;
  4. 2014年6月,Elastic获得7000万美元C轮融资;
  5. 2016年9月,Elastic公司收购了领先的行为分析技术提供商Prelert。并将Prelert的技术整合到Elastic Stack,2017年将把它作为一个订阅包提供,使Elastic的客户能够处理网路安全、欺诈检测和IT运营分析等复杂的用例。

如果你仔细看他们的官方介绍,会发现创始人Shay并不是CEO,而是一个有着丰富投资和管理经验的管理合伙人 Steven Schuurman 来担任。不由让我想起了《威尼斯商人》也真正感受到了荷兰人骨子里的商业基因。

由于对于 Steven Schuurman 的介绍没有中文版本的,我只好扒英文的了。

Mr. Steven Schuurman,CBDO,在2012年共同创立ELASTICSEARCH GLOBAL BV,并担任其首席执行官。 Schuurman先生为Elasticsearch行政领导团队提供领导,并最终负责企业战略和执行Elasticsearch的业务运营。他是Orange11 B.V.(也被称为Trifork Amsterdam)的业主,并担任其首席执行官。 Schuurman先生在SpringSource,Inc.担任全球服务提供高级总监。他共同创立了SpringSource。 Schuurman先生担任SpringSource公司全球服务提供高级总监。他担任EMEA和SpringSource公司亚太地区执行副总裁。Schuurman先生共同创立了Interface21荷兰公司,并为该全球公司增加了业务发展能力。他于2005年3月加入Interface21。Schuurman先生作为一家领先的荷兰软件开发和咨询公司的管理合伙人,在一家企业软件业务环境中积极活跃。他成功地与荷兰和国际公司在金融和非金融市场发展了许多长期的业务关系。在共同创立SpringSource之前,他是JTeam的所有者(更名为Orange11)。在2005年加入JTeam之前,他曾在荷兰软件咨询公司Sogyo担任过多个行政职位。他担任Elasticsearch NL和Orange11的董事。他曾担任JTeam董事。

英文原文:

Mr. Steven Schuurman, CBDO, Co-founded ELASTICSEARCH GLOBAL BV in 2012 and serves as its Chief Executive Officer. Mr. Schuurman provides leadership to the Elasticsearch Executive Leadership Team and is ultimately responsible for corporate strategy and executing on Elasticsearch’s business operations. He was the Owner of Orange11 B.V. (also known as Trifork Amsterdam) and served as its Chief Executive Officer. Mr. Schuurman served as Senior Director of Global Service Delivery at SpringSource, Inc. He co-founded SpringSource. Mr. Schuurman served as Senior Director of Global Service Delivery of SpringSource Inc. He served as an Executive Vice President of EMEA and APAC of SpringSource Inc. Mr. Schuurman Co-founded Interface21 Netherlands and added business development capacity to the global company. He joined Interface21 in March 2005. Mr. Schuurman was active in an enterpise software business environment, as Managing Partner in a leading Dutch software development and consulting company. He has successfully developed numerous long-term business relationships with both Dutch and international companies in financial and non-financial markets. Prior to co-founding SpringSource, he was owner at JTeam (which was renamed to Orange11). Before joining JTeam in 2005, he held various executive positions with Dutch Software Consulting firm, Sogyo. He serves as Director of Elasticsearch NL and Orange11. He served as Director of JTeam.

摘自:http://www.bloomberg.com/research/stocks/private/person.asp?personId=39344498&privcapId=224101504

4.ElasticSearch的诞生

江边望海认为一个伟大产品的产生都有着必然的历史选择,但是诞生往往是偶然的。ElasticSearch也不例外。大家不妨看看下面这段文字,挺有意思的。

在谈到为什么会接触Lucene并开发Elasticsearch的时候,Shay Banon认为自己参与Lucene完全是一种偶然,当年他还是一个待业工程师,跟随自己的新婚妻子来到伦敦,妻子想在伦敦学习做一名厨师,而自己则想为妻子开发一个方便搜索菜谱的应用,所以才接触到Lucene。直接使用Lucene构建搜索有很多问题,包含大量重复性的工作,所以Shay便在Lucene的基础上不断地进行抽象,让Java程序嵌入搜索变得更容易,经过一段时间的打磨便诞生了他的第一个开源作品“Compass”,中文即“指南针”的意思。之后,Shay找到了一份面对高性能分布式开发环境的新工作,在工作中他渐渐发现越来越需要一个易用的、高性能、实时、分布式搜索服务,于是他决定重写Compass,将它从一个库打造成了一个独立的server,并将其改名为Elasticsearch。

摘自:http://www.infoq.com/cn/news/2014/12/elasticsearch-birth-development?utm_campaign=infoq_content

看到没有,找个想学厨师的老婆是多么的重要啊。呵呵~

© 著作权归作者所有

共有 人打赏支持
江边望海
粉丝 26
博文 112
码字总数 57841
作品 3
郑州
技术主管
Centos6搭建elk系统,监控IIS日志

**所需程序: 服务器端:java、elasticsearch、kikbana 客 户 端:IIS、logstash** 一、服务器端(192.168.10.46)操作: 先建立一个ELK专门的目录: [root@Cent65 ~]mkdir /elk/ 上传到elk...

D杀手D ⋅ 04/24 ⋅ 0

当ES赶超Redis,这份ES进修攻略不容错过!

从4月DB-Engines最新发布的全球数据库排名中,我们赫然发现ElasticSearch逆袭超越了Redis,从原先的第9名上升至第8名,而Redis则落后一名,排在了其后。 事实上,这场逆袭并不算太让人意外。...

DBAplus社群 ⋅ 04/15 ⋅ 0

logstash、elasticsearch、kibana搭建日志平台

1、下载logstash a、官方下载地址:https://www.elastic.co/downloads/logstash b、解压:tar -xzvf logstash-5.1.1.tar.gz c、设置用户测试的配置文件:vim logstatsh_test.conf,编辑内容如...

binhu ⋅ 05/23 ⋅ 0

Elastic Search学习笔记1——安装elasticsearch2.4.6

Elastic Search 简介 1.基于Apache Lucene的开源搜索引擎 2.采用Java编写 RESTful API风格 3.较容易的横向扩展 应用场景 1.海量数据分析引擎 2.数据搜索引擎 3.数据仓库 官网 https://www.el...

晨猫 ⋅ 03/09 ⋅ 0

基于ELK实时日志分析的最佳实践

在2018云栖大会深圳峰会大数据分析与可视化专场上,由阿里巴巴搜索引擎事业部开放搜索团队的吴迪带来了“基于ELK实时日志分析的最佳实践”的主题分享。介绍了传统的日志分析、ELK的概念和ELK...

smile小太阳 ⋅ 05/06 ⋅ 0

CTO详细讲解海量日志处理ELK

ELK实时日志分析平台之Elasticsearch简介 Elasticsearch是一个高度灵活的开源全文检索和分析引擎。它能够迅速(几乎是实时地)地存储、查找和分析大规模数据。通常被用在有复杂的搜索要求的系...

Java架构分享 ⋅ 05/23 ⋅ 0

Docker 部署ELK 日志分析

Docker 部署ELK 日志分析 elk集成镜像包 名字是 sebp/elk 安装 docke、启动 yum install docke service docker start Docker至少得分配3GB的内存;不然得加参数 -e ESMINMEM=128m -e ESMAXM...

yikayi ⋅ 06/08 ⋅ 0

分布式定时任务Elastic-Job框架在SpringBoot工程中的应用实践(二)

文章摘要:在生产环境中部署Elastic-Job集群后,那么如何来运维监控线上跑着的定时任务呢? 如果在生产环境的大规模服务器集群上部署了集成Elastic-Job的业务工程,而没有相应的运维监控工具...

癫狂侠 ⋅ 05/15 ⋅ 0

分布式定时任务Elastic-Job框架在SpringBoot工程中的应用实践(一)

摘要:如何构建具备作业分片和弹性扩缩容的定时任务系统是每个大型业务系统在设计时需要考虑的重要问题? 对于构建一般的业务系统来说,使用Quartz或者Spring Task即可基本满足我们的单体服用...

癫狂侠 ⋅ 05/12 ⋅ 0

Elasticsearch + Kibana 集群环境搭建

Elk 提供了完备且成熟的日志存储和分析的解决方案,虽然不开源,但是可以免费使用。本文主要介绍 elasticsearch 集群以及 kibana 的环境搭建。 Elasticsearch Elasticsearch 可以理解为一个支...

xjtuhit ⋅ 04/16 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

个人博客的运营模式能否学习TMALL天猫质量为上?

心情随笔|个人博客的运营模式能否学习TMALL天猫质量为上? 中国的互联网已经发展了很多年了,记得在十年前,个人博客十分流行,大量的人都在写博客,而且质量还不错,很多高质量的文章都是在...

原创小博客 ⋅ 今天 ⋅ 0

JavaScript零基础入门——(十一)JavaScript的DOM操作

JavaScript零基础入门——(十一)JavaScript的DOM操作 大家好,欢迎回到我们的JavaScript零基础入门。最近有些同学问我说,我讲的的比书上的精简不少。其实呢,我主要讲的是我在开发中经常会...

JandenMa ⋅ 今天 ⋅ 0

volatile和synchronized的区别

volatile和synchronized的区别 在讲这个之前需要先了解下JMM(Java memory Model :java内存模型):并发过程中如何处理可见性、原子性、有序性的问题--建立JMM模型 详情请看:https://baike.b...

MarinJ_Shao ⋅ 今天 ⋅ 0

深入分析Kubernetes Critical Pod(一)

Author: xidianwangtao@gmail.com 摘要:大家在部署Kubernetes集群AddOn组件的时候,经常会看到Annotation scheduler.alpha.kubernetes.io/critical-pod"="",以表示这是一个关键服务,那你知...

WaltonWang ⋅ 今天 ⋅ 0

原子性 - synchronized关键词

原子性概念 原子性提供了程序的互斥操作,同一时刻只能有一个线程能对某块代码进行操作。 原子性的实现方式 在jdk中,原子性的实现方式主要分为: synchronized:关键词,它依赖于JVM,保证了同...

dotleo ⋅ 今天 ⋅ 0

【2018.06.22学习笔记】【linux高级知识 14.4-15.3】

14.4 exportfs命令 14.5 NFS客户端问题 15.1 FTP介绍 15.2/15.3 使用vsftpd搭建ftp

lgsxp ⋅ 今天 ⋅ 0

JeeSite 4.0 功能权限管理基础(Shiro)

Shiro是Apache的一个开源框架,是一个权限管理的框架,实现用户认证、用户授权等。 只要有用户参与一般都要有权限管理,权限管理实现对用户访问系统的控制,按照安全规则或者安全策略控制用户...

ThinkGem ⋅ 昨天 ⋅ 0

python f-string 字符串格式化

主要内容 从Python 3.6开始,f-string是格式化字符串的一种很好的新方法。与其他格式化方式相比,它们不仅更易读,更简洁,不易出错,而且速度更快! 在本文的最后,您将了解如何以及为什么今...

阿豪boy ⋅ 昨天 ⋅ 0

Python实现自动登录站点

如果我们想要实现自动登录,那么我们就需要能够驱动浏览器(比如谷歌浏览器)来实现操作,ChromeDriver 刚好能够帮助我们这一点(非谷歌浏览器的驱动有所不同)。 一、确认软件版本 首先我们...

blackfoxya ⋅ 昨天 ⋅ 0

线性回归原理和实现基本认识

一:介绍 定义:线性回归在假设特证满足线性关系,根据给定的训练数据训练一个模型,并用此模型进行预测。为了了解这个定义,我们先举个简单的例子;我们假设一个线性方程 Y=2x+1, x变量为商...

wangxuwei ⋅ 昨天 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部