文档章节

《ElasticSearch核心技术与实战》学习笔记

s
 sunranhou
发布于 02/16 23:34
字数 721
阅读 420
收藏 0
https://github.com/geektime-geekbang/geektime-ELK

第一节:需要学会以下问题

1.怎么使用ES实现海量数据搜索和安全监控。怎么搜索附件的定位乘客或司机在地图上显示。
2.ELK+Beats实现日志收集与分析,系统指标监控,系统信息安全(设置报警阈值)。
3.使用机器学习实现自动异常监控。

以上三个问题内容相同,但业务实现上一层比一层深入,下面第两个问题属于运维和优化部分。

4.Canvas展示数据,及管理索引生命周期,并且对索引进行优化。
5.实现对大数据近实时分析(与hadoop分析的区别)。
6.运维能力,包括性能优化和扩展等。

第二节:学习目标

1.开发
2.运维
3.方案

第三节:

1水平扩展

|Node| ->
|Master Nodes, Coordinate Nodes, Data Nodes| ->
|Master Nodes, Coordinate Nodes, Hot Nodes, Warm Nodes, ML Nodes|

API地址:https://www.elastic.co/guide/en/elasticsearch/client/index.html

2新版本支持JDBC & ODBC的接入方式

第四节:

1X-pak的使用

2使用场景(搜索和数据分析):https://www.elastci.co/use-cases

3架构

第五节:

1.安装步骤:(1)下载并解压;(2)运行bin/elastcisearch(多实例运行bin/elasticsearch -E node.name=node1 -E cluster.name=elasticsearch -E path.data=node1_data -d);(3)访问http://localhost:9200;

2.配置文件:(1)config/jvm.options讲解:https://www.elastic.co/blog/a-head-of-trouble

3.插件安装:(1)bin/elasticsearch-plugin install analysis-icu;(2)插件地址:https://www.elastic.co/guide/en/elasticsearch/plugin/current/intro.html;(3)实现自定义插件!!!

第六节:Kebana安装

1.安装步骤

2.DevTool的使用

第七节:

1.Docker安装

2.cerebro使用

第八节:Logstash安装

1.安装

2.配置文件学习

第九节:

1.文档是什么?文档元数据有哪些?

_index: 索引
_type: 文档类型,新版本中一个索引只有一个_doc类型
_id: 文档唯一id
_source: 原始json文档
_all: 把所有字段内容放到该值里做统一搜索,已废弃。
_version: 文档版本,可以解决文档修改的问题
_score: 相关性打分

第十节:

Master节点:
Data节点:
Coordinating节点:负责接收rest请求,分发并汇总,返回结果。
Hot & Warm节点:节约硬件。
Machine Learning节点:机器学习,自动异常监控
Tribe节点:链接不同的节点,对外作为独立节点使用。已废弃。5.3开始使用Cross Cluster Search

配置节点:建议单个节点单一类型。

分片和副本:

第十二节:倒排索引

 

 

第十四节:

1.URI Search:
2.Request Body Search:

第十九节:显示创建mapping

 

© 著作权归作者所有

s
粉丝 1
博文 35
码字总数 17548
作品 0
长宁
私信 提问
加载中

评论(0)

ES(elasticsearch)搜索引擎

ES(elasticsearch)搜索引擎 0、授人以渔,少走半年弯路! 死磕 Elasticsearch 方法论:普通程序员高效精进的 10 大狠招! 一、Elasitcsearch基础篇 1.1 Elasitcsearch基础认知 1、Elasticse...

Ocean_K
2018/09/11
4.3K
6
当ES赶超Redis,这份ES进修攻略不容错过!

从4月DB-Engines最新发布的全球数据库排名中,我们赫然发现ElasticSearch逆袭超越了Redis,从原先的第9名上升至第8名,而Redis则落后一名,排在了其后。 事实上,这场逆袭并不算太让人意外。...

DBAplus社群
2018/04/15
0
0
手把手玩转Elasticsearch

大家好,我是一名中间件架构师,负责中间件规划与建设。日常喜欢总结,希望借此机会和大家分享一些个人经验。 一路走来,从Java初级开发、中级开发、基础架构开发、微服务架构,再到中间件架...

51CTO博客
2019/12/18
0
0
死磕 Elasticsearch 方法论序篇:普通程序员高效精进的 10 大狠招!|MVP讲堂

作者:阿里云MVP 铭毅 开篇 人工智能、大数据快速发展的今天,对于 TB 甚至 PB 级大数据的快速检索已然成为刚需。Elasticsearch 作为开源领域的后起之秀,从2010年至今得到飞跃式的发展。 El...

辰悠
2018/12/14
0
0
死磕 Elasticsearch 方法论:普通程序员高效精进的 10 大狠招!

开篇 人工智能、大数据快速发展的今天,对于 TB 甚至 PB 级大数据的快速检索已然成为刚需。Elasticsearch 作为开源领域的后起之秀,从2010年至今得到飞跃式的发展。 Elasticsearch 以其开源、...

浮躁的码农
2018/12/18
283
0

没有更多内容

加载失败,请刷新页面

加载更多

大刘海终于收窄?iPhone 12系列设计细节曝光:三摄+雷达更占空间

苹果第一次给屏幕加上刘海,是在2017年的iPhone X。此后,尽管安卓阵营已经先后发展出了水滴屏、升降屏、打孔屏等形态各异的更高屏占比的设计方案,苹果一直将宽大的刘海保留在其后iPhone XS...

osc_p0v6j6lt
21分钟前
24
0
爆单也没能救它 瑞幸咖啡股价一度下跌20%再创新低

瑞幸咖啡(NASDAQ:LK)股价周一继续下挫,跌破上周四曝光营收造假的低点4.90美元,一度报4.27美元,下跌超20%,市值不足11亿美元。这一价格也创造了瑞幸上市后的历史最低。 据报道,高盛称,瑞...

osc_6kj0kt57
21分钟前
16
0
疫情蔓延放缓 早盘美股道指大涨逾千点

北京时间6日晚,美股周一早盘继续上扬,道指大涨逾千点。投资者对全球疫情蔓延局势的判断有所改善,风险情绪随之受到提振。美国总统特朗普称迹象显示美国疫情已开始趋于稳定,并表示他仍在考...

osc_jo2m8l1r
23分钟前
24
0
4.3万元!赛博朋克2077定制版NIVIDIA显卡成功卖出

虽然《赛博朋克2077》游戏跳票了,但是2月份NVIDIA依然推出了一款赛博朋克限量版显卡——GeForce RTX 2080 Ti“ Cyberpunk 2077 Edition”,全球限量200块,官方售价1100美元。 访问购买页面...

osc_9mctux05
24分钟前
26
0
高盛:瑞幸咖啡股东发生违约 7635万股ADS强制出售

据国外媒体报道,高盛今日发布报告称,在瑞幸咖啡股东Haode Investment公司(借款人)发生违约之后,根据一项5.18亿美元的保证金贷款安排,贷款人组成的银团已指示作为担保受托人的瑞士信贷新...

osc_t6qz550e
25分钟前
19
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部