文档章节

ES基础信息记录

年少爱追梦
 年少爱追梦
发布于 2017/07/24 14:55
字数 686
阅读 19
收藏 0

ES基础信息记录

bin---含有运行ES实例和管理插件的一些脚本

config---主要是一些设置文件,如elasticsearch.yml 和logging.yml

lib---包含相关的包文件

plugins---包含相关插件文件

logs---日志文件

data---es存放数据的位置

works---临时文件

关闭ES,http接口请求 http://localhost:9200/_cluster/nodes/_shutdown

logging.yml文件定义了多少信息写入日志系统,定义日志文件,并定期创建新文件,监控环境,备份解决方案,系统调试。

ES插件,数据同步插件,中文分词插件,hadoop插件,脚本支持插件,基础服务用插件是一个比较好的应用场景。

Cluster是对外提供搜索服务的集群,组成集群的各节点叫node是ES的运行实例。Node氛围,IndexNode(读写)和DataNode(数据存储访问,负载均衡),shards将es的完整索引分为若干部分,每个部分就是shards,shards存储在不同的或相同的node上,shards的创建一般是在索引创建前指定,并且索引创建后不能更改。ES会将查询发送给不同的Shards上并将返回结果合并。

Replicase是索引的冗余备份,可用于防止数据丢失或用于负载均衡。

Recovery是在有节点Node加入或者退出集群Cluster或故障节点重新启动时,ES对索引分片Shards进行重新分配。

River是运行在ES内部的插件,主要用于获取外部异构数据,然后在ES中创建索引。消息插件,JDBC插件,Monogodb插件。

Gateway是ES索引数据快照的存储方式,ES集群重新启动的时候就会从Gateway中读取索引数据。Gateway支持多种快照放肆,本地文件系统,分布式文件系统等。

Discovery.zen自动发现和master阶段选举,可在config/elasticearch.yml(广播协议和多播协议,进行节点通信,也支持p2p交互)

Transport代表ES与客户端的交流方式。默认使用TCP协议进行交互,同时支持HTTP协议,Thrift,Servlet。Memcached,ZeroMQ等传输协议(插件形式)。

Index,Type,Document,Field等。Index是ES存储数据的地方类似Databases,Type类似Table,Document是一行数据,列是field,模式Schema类似映射Mapping。

Mapping定义索引下Type的字段处理规则,如索引如何建立,索引数据类型,是否保存原始索引Json文档,是否压缩原始Json文档,是否需要分词处理,如何进行分词处理,一个索引文件下能够存储不同映射(Mapping)的类型文件,mapping通过语句删除。

 

 

 

 

 

© 著作权归作者所有

共有 人打赏支持
年少爱追梦
粉丝 31
博文 185
码字总数 118529
作品 0
杭州
程序员
私信 提问
Elasticsearch简介

ES是一个高扩展的、开源的、全文检索的搜索引擎,它提供了近实时的索引、搜索、分析功能。Shay Banon是ES奠基者,系统是在Apache Lucene的基础上采用Java实现的。Lucene非常复杂,而ES通过R...

Mr_YangFei
2016/03/17
256
0
【技术实验】mysql准实时同步数据到Elasticsearch

实验背景 Elasticsearch在阿里云商业化已经有一段时间,它作为大数据场景下搜索和分析的引擎,可以用于很多场景。前两天有同学提到需要将MySQL中的数据准实时的同步到ElasticSearch中的需求,...

工程师甲
2017/11/28
0
0
Elasticsearch技术分享(一)

场景 与同事分享一下最近学习es的心得 大纲 1)es使用场景 2)搭建环境与集群基本运维命令介绍 3)基础分布式架构初探与核心概念解读 4)实战 分析 一、es使用场景 1) 什么是 es A) 故事引入...

PENGYUCHENG32109
2017/03/20
0
0
/etc/init.d/functions详解

functions这个脚本是给/etc/init.d里边的文件使用的。提供了一些基础的功能,看看里边究竟有些什么。首先会设置umask,path,还有语言环境,然后会设置success,failure,warning,normal几种情...

linux_python
06/26
0
0
快速掌握分布式搜索引擎ElasticSearch(一)

前言 由于最近在项目中接触使用到了ElasticSearch,从本篇博客开始将给大家分享这款风靡全球的产品。将涉及到ElasticSearch的安装、基础概念、基本用法、高级查询、中文分词器、与SpringBoo...

张丰哲
11/10
0
0

没有更多内容

加载失败,请刷新页面

加载更多

Caffe(二)-Python-自定义网络

这里我们用一个例子先来体验一下 首先定义一下我们的环境变量 $PYTHONPATH,我这儿是Windows开发环境,至于Windows Caffe怎么编译由读者自己下去搞定 我使用的控制台是 Windows PowerShell 添...

Pulsar-V
46分钟前
4
0
ActiveMQ从入门到精通(二)之可靠性机制

ActiveMQ的可靠性机制 缘由( 确认JMS消息) 只要消息被确认之后,才认为消息被成功消费了。消息的成功消费包括三个阶段:客户端接收消息、客户端处理消息以及客户端确认消息。在事务性会话中...

一看就喷亏的小猿
53分钟前
3
0
源码分析 Mybatis 的 foreach 为什么会出现性能问题

背景 最近在做一个类似于综合报表之类的东西,需要查询所有的记录(数据库记录有限制),大概有1W条记录,该报表需要三个表的数据,也就是根据这 1W 个 ID 去执行查询三次数据库,其中,有一...

TSMYK
今天
8
0
IC-CAD Methodology企业实战之openlava

在云计算解决安全问题并成为IC界主流运算平台之前,私有的服务器集群系统仍然是各大IC公司的计算资源平台首选。 现在主流的服务器集群管理系统包括lsf,openlava,SkyForm,三者都属于lsf一系...

李艳青1987
今天
8
0
http response stream 字节流 接收与解码

在接收图片、音频、视频的时候,需要用到二进制流。 浏览器会发给客户端 字节Byte流,一串串的发过来_int8格式 -128~127(十进制),也就是8bit(位)。 客户端接收的时候,对接收到的字节收集,...

大灰狼wow
今天
9
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部