文档章节

专注于日志分析的人们——elastic

江边望海
 江边望海
发布于 2016/11/02 09:08
字数 2001
阅读 516
收藏 16

1.弹性数据分析技术栈

1.1.Kibana

Kibana 是一个为 Logstash 和 ElasticSearch 提供的日志分析的 Web 接口。可使用它对日志进行高效的搜索、可视化、分析等各种操作。

1.2.Logstash

Logstash 是一个应用程序日志、事件的传输、处理、管理和搜索的平台。你可以用它来统一对应用程序日志进行收集管理,提供 Web 接口用于查询和统计。

1.3.ElasticSearch

Elastic Search 是一个基于Lucene构建的开源,分布式,RESTful搜索引擎。设计用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便。支持通过HTTP使用JSON进行数据索引。

1.4.Beats

Beats是elasticsearch公司开源的一款采集系统监控数据的代理agent,它可以发送不同类型的数据到elasticsearch中,也可以行将采集完的数据发送到logstash中转,然后在推送到elasticsearch中,目前还在发展中,与成熟的监控系统zabbix和ganglia相比就界面看起来爽了点,系统功能还是有点弱,不过与elasticsearch全文搜索框架集成后,数据查询过滤功能非常强悍,还是非常有前途 

2.公司简介

以上是 elastic 公司解决大数据分析,特别是日益增长的日志分析难题的解决方案。以下是 elastic 公司的简介:

Elastic在2012年在阿姆斯特丹由Elasticsearch和Apache Lucene背后的人成立,Elastic提出了一个愿景,搜索可以解决大量的数据问题。公司的起源始于2010年,当时Shay Banon写了Elasticsearch的第一行,并将其作为分布式搜索引擎开源。随着云计算的兴起和IT基础设施的需求的变化,例如对无限数量的结构化和非结构化数据的实时搜索,Shay预见到需要一种新型软件来解决当今的现实数据问题。 Steven Schuurman,Uri Boness和Simon Willnauer分享了Shay的愿景,共同创造了我们今天拥有的弹性公司。从那时起,Kibana,Logstash和Beats的创作者加入了Elastic家族,围绕着一个叫做Elastic Stack的产品组合,它被世界各地的数百万开发者使用。 Elastic家族将32个国家的员工团结成一个连贯的团队,而更广泛的社区遍布100多个国家。

英文原文:

Founded in 2012 in Amsterdam by the people behind Elasticsearch and Apache Lucene, Elastic set forth a vision that search can solve a plethora of data problems. The origins of the company start back in 2010, when Shay Banon wrote the first lines of Elasticsearch and open sourced it as a distributed search engine. With the rise of cloud computing and changes in IT infrastructure demanding requirements such as real-time search across infinite amounts of structured and unstructured data, Shay foresaw the need for a new type of software to solve today's real-world data problems. Steven Schuurman, Uri Boness, and Simon Willnauer shared in Shay's vision, joining forces to create the Elastic company we have today. Since then, the creators of Kibana, Logstash, and Beats have joined the Elastic family, rounding out a product portfolio known as the Elastic Stack, which is used by millions of developers around the world. The Elastic family unites employees across 32 countries into one coherent team, while the broader community spans across over 100 countries.

摘自:https://www.elastic.co/about

中文翻译是我通过谷歌翻译得到的。

3.发展速度

elastic的发展速度可以用打飞的来形容:

  1. Elastic创立于2012年;Elastic由首席技术官Shay Banon和首席执行官Steven Schuurman共同创建。
  2. 2012年11月获得1000万美元的融资;
  3. 2013年2月获得2400万美元的B轮融资;
  4. 2014年6月,Elastic获得7000万美元C轮融资;
  5. 2016年9月,Elastic公司收购了领先的行为分析技术提供商Prelert。并将Prelert的技术整合到Elastic Stack,2017年将把它作为一个订阅包提供,使Elastic的客户能够处理网路安全、欺诈检测和IT运营分析等复杂的用例。

如果你仔细看他们的官方介绍,会发现创始人Shay并不是CEO,而是一个有着丰富投资和管理经验的管理合伙人 Steven Schuurman 来担任。不由让我想起了《威尼斯商人》也真正感受到了荷兰人骨子里的商业基因。

由于对于 Steven Schuurman 的介绍没有中文版本的,我只好扒英文的了。

Mr. Steven Schuurman,CBDO,在2012年共同创立ELASTICSEARCH GLOBAL BV,并担任其首席执行官。 Schuurman先生为Elasticsearch行政领导团队提供领导,并最终负责企业战略和执行Elasticsearch的业务运营。他是Orange11 B.V.(也被称为Trifork Amsterdam)的业主,并担任其首席执行官。 Schuurman先生在SpringSource,Inc.担任全球服务提供高级总监。他共同创立了SpringSource。 Schuurman先生担任SpringSource公司全球服务提供高级总监。他担任EMEA和SpringSource公司亚太地区执行副总裁。Schuurman先生共同创立了Interface21荷兰公司,并为该全球公司增加了业务发展能力。他于2005年3月加入Interface21。Schuurman先生作为一家领先的荷兰软件开发和咨询公司的管理合伙人,在一家企业软件业务环境中积极活跃。他成功地与荷兰和国际公司在金融和非金融市场发展了许多长期的业务关系。在共同创立SpringSource之前,他是JTeam的所有者(更名为Orange11)。在2005年加入JTeam之前,他曾在荷兰软件咨询公司Sogyo担任过多个行政职位。他担任Elasticsearch NL和Orange11的董事。他曾担任JTeam董事。

英文原文:

Mr. Steven Schuurman, CBDO, Co-founded ELASTICSEARCH GLOBAL BV in 2012 and serves as its Chief Executive Officer. Mr. Schuurman provides leadership to the Elasticsearch Executive Leadership Team and is ultimately responsible for corporate strategy and executing on Elasticsearch’s business operations. He was the Owner of Orange11 B.V. (also known as Trifork Amsterdam) and served as its Chief Executive Officer. Mr. Schuurman served as Senior Director of Global Service Delivery at SpringSource, Inc. He co-founded SpringSource. Mr. Schuurman served as Senior Director of Global Service Delivery of SpringSource Inc. He served as an Executive Vice President of EMEA and APAC of SpringSource Inc. Mr. Schuurman Co-founded Interface21 Netherlands and added business development capacity to the global company. He joined Interface21 in March 2005. Mr. Schuurman was active in an enterpise software business environment, as Managing Partner in a leading Dutch software development and consulting company. He has successfully developed numerous long-term business relationships with both Dutch and international companies in financial and non-financial markets. Prior to co-founding SpringSource, he was owner at JTeam (which was renamed to Orange11). Before joining JTeam in 2005, he held various executive positions with Dutch Software Consulting firm, Sogyo. He serves as Director of Elasticsearch NL and Orange11. He served as Director of JTeam.

摘自:http://www.bloomberg.com/research/stocks/private/person.asp?personId=39344498&privcapId=224101504

4.ElasticSearch的诞生

江边望海认为一个伟大产品的产生都有着必然的历史选择,但是诞生往往是偶然的。ElasticSearch也不例外。大家不妨看看下面这段文字,挺有意思的。

在谈到为什么会接触Lucene并开发Elasticsearch的时候,Shay Banon认为自己参与Lucene完全是一种偶然,当年他还是一个待业工程师,跟随自己的新婚妻子来到伦敦,妻子想在伦敦学习做一名厨师,而自己则想为妻子开发一个方便搜索菜谱的应用,所以才接触到Lucene。直接使用Lucene构建搜索有很多问题,包含大量重复性的工作,所以Shay便在Lucene的基础上不断地进行抽象,让Java程序嵌入搜索变得更容易,经过一段时间的打磨便诞生了他的第一个开源作品“Compass”,中文即“指南针”的意思。之后,Shay找到了一份面对高性能分布式开发环境的新工作,在工作中他渐渐发现越来越需要一个易用的、高性能、实时、分布式搜索服务,于是他决定重写Compass,将它从一个库打造成了一个独立的server,并将其改名为Elasticsearch。

摘自:http://www.infoq.com/cn/news/2014/12/elasticsearch-birth-development?utm_campaign=infoq_content

看到没有,找个想学厨师的老婆是多么的重要啊。呵呵~

© 著作权归作者所有

共有 人打赏支持
江边望海
粉丝 26
博文 112
码字总数 57841
作品 3
郑州
技术主管
渣渣菜鸡的 ElasticSearch 源码解析 —— 启动流程(下)

关注我 转载请务必注明原创地址为:http://www.54tianzhisheng.cn/2018/08/12/es-code03/ 前提 上篇文章写完了 ES 流程启动的一部分,main 方法都入口,以及创建 Elasticsearch 运行的必须环...

zhisheng_tian
08/14
0
0
ES(elasticsearch)搜索引擎

ES(elasticsearch)搜索引擎 0、授人以渔,少走半年弯路! 死磕 Elasticsearch 方法论:普通程序员高效精进的 10 大狠招! 一、Elasitcsearch基础篇 1.1 Elasitcsearch基础认知 1、Elasticse...

Ocean_K
09/11
0
0
Centos6搭建elk系统,监控IIS日志

**所需程序: 服务器端:java、elasticsearch、kikbana 客 户 端:IIS、logstash** 一、服务器端(192.168.10.46)操作: 先建立一个ELK专门的目录: [root@Cent65 ~]mkdir /elk/ 上传到elk...

D杀手D
04/24
0
0
初探 ELK - 每天5分钟玩转 Docker 容器技术(89)

在开源的日志管理方案中,最出名的莫过于 ELK 了。ELK 是三个软件的合称:Elasticsearch、Logstash、Kibana。 Elasticsearch 一个近乎实时查询的全文搜索引擎。Elasticsearch 的设计目标就是...

CloudMAN
2017/11/03
0
0
一行命令:从 ELK 迁移日志服务

概述 日志服务相比自建 ELK 在功能、性能、规模和成本等方面有诸多优势,参阅自建ELK vs 日志服务(SLS)全方位对比。对于已经存储在 Elasticsearch 中的数据,用户只需要一行命令就能方便地将...

吴波bruce_wu
08/09
0
0

没有更多内容

加载失败,请刷新页面

加载更多

74.expect脚本同步文件以及指定host同步文件 构建分发系统文件和命令

20.31 expect脚本同步文件: 在expect脚本中去实现在一台机器上把文件同步到另外一台机器上去。核心命令用的是rsync ~1.自动同步文件 #!/usr/bin/expect set passwd "123456" spawn rsync -a...

王鑫linux
22分钟前
0
0
TypeScript项目引用(project references)

转发 TypeScript项目引用(project references) TypeScript新特性之项目引用(project references) 项目引用是TypeScript 3.0中的一项新功能,允许您将TypeScript程序构建为更小的部分。 通过这...

durban
26分钟前
0
0
爬虫入门

导读 网络爬虫(Web crawler),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本,它们被广泛用于互联网搜索引擎或其他类似网站,可以自动采集所有其能够访问到的页面内容,以获取...

问题终结者
26分钟前
0
0
ppwjs之bootstrap文字排版:无序列表项不换行

<!DOCTYPT html><html><head><meta http-equiv="content-type" content="text/html; charset=utf-8" /><title>ppwjs欢迎您</title><link rel="icon" href="/favicon.ico" ......

ppwjs
33分钟前
0
0
SpringBoot 学习一

本文将从以下几个方面介绍: 前言 HelloWorld 读取配置文件 例子(CURD) 前言 Spring Boot是由Pivotal团队提供的全新框架,其设计目的是用来简化新Spring应用的初始搭建以及开发过程。该框架...

tsmyk0715
33分钟前
1
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部