文档章节

ES基础信息记录

年少爱追梦
 年少爱追梦
发布于 2017/07/24 14:55
字数 686
阅读 15
收藏 0
点赞 0
评论 0

ES基础信息记录

bin---含有运行ES实例和管理插件的一些脚本

config---主要是一些设置文件,如elasticsearch.yml 和logging.yml

lib---包含相关的包文件

plugins---包含相关插件文件

logs---日志文件

data---es存放数据的位置

works---临时文件

关闭ES,http接口请求 http://localhost:9200/_cluster/nodes/_shutdown

logging.yml文件定义了多少信息写入日志系统,定义日志文件,并定期创建新文件,监控环境,备份解决方案,系统调试。

ES插件,数据同步插件,中文分词插件,hadoop插件,脚本支持插件,基础服务用插件是一个比较好的应用场景。

Cluster是对外提供搜索服务的集群,组成集群的各节点叫node是ES的运行实例。Node氛围,IndexNode(读写)和DataNode(数据存储访问,负载均衡),shards将es的完整索引分为若干部分,每个部分就是shards,shards存储在不同的或相同的node上,shards的创建一般是在索引创建前指定,并且索引创建后不能更改。ES会将查询发送给不同的Shards上并将返回结果合并。

Replicase是索引的冗余备份,可用于防止数据丢失或用于负载均衡。

Recovery是在有节点Node加入或者退出集群Cluster或故障节点重新启动时,ES对索引分片Shards进行重新分配。

River是运行在ES内部的插件,主要用于获取外部异构数据,然后在ES中创建索引。消息插件,JDBC插件,Monogodb插件。

Gateway是ES索引数据快照的存储方式,ES集群重新启动的时候就会从Gateway中读取索引数据。Gateway支持多种快照放肆,本地文件系统,分布式文件系统等。

Discovery.zen自动发现和master阶段选举,可在config/elasticearch.yml(广播协议和多播协议,进行节点通信,也支持p2p交互)

Transport代表ES与客户端的交流方式。默认使用TCP协议进行交互,同时支持HTTP协议,Thrift,Servlet。Memcached,ZeroMQ等传输协议(插件形式)。

Index,Type,Document,Field等。Index是ES存储数据的地方类似Databases,Type类似Table,Document是一行数据,列是field,模式Schema类似映射Mapping。

Mapping定义索引下Type的字段处理规则,如索引如何建立,索引数据类型,是否保存原始索引Json文档,是否压缩原始Json文档,是否需要分词处理,如何进行分词处理,一个索引文件下能够存储不同映射(Mapping)的类型文件,mapping通过语句删除。

 

 

 

 

 

© 著作权归作者所有

共有 人打赏支持
年少爱追梦
粉丝 30
博文 181
码字总数 117783
作品 0
杭州
程序员
Elasticsearch简介

ES是一个高扩展的、开源的、全文检索的搜索引擎,它提供了近实时的索引、搜索、分析功能。Shay Banon是ES奠基者,系统是在Apache Lucene的基础上采用Java实现的。Lucene非常复杂,而ES通过R...

Mr_YangFei ⋅ 2016/03/17 ⋅ 0

【技术实验】mysql准实时同步数据到Elasticsearch

实验背景 Elasticsearch在阿里云商业化已经有一段时间,它作为大数据场景下搜索和分析的引擎,可以用于很多场景。前两天有同学提到需要将MySQL中的数据准实时的同步到ElasticSearch中的需求,...

工程师甲 ⋅ 2017/11/28 ⋅ 0

Elasticsearch技术分享(一)

场景 与同事分享一下最近学习es的心得 大纲 1)es使用场景 2)搭建环境与集群基本运维命令介绍 3)基础分布式架构初探与核心概念解读 4)实战 分析 一、es使用场景 1) 什么是 es A) 故事引入...

PENGYUCHENG32109 ⋅ 2017/03/20 ⋅ 0

/etc/init.d/functions详解

functions这个脚本是给/etc/init.d里边的文件使用的。提供了一些基础的功能,看看里边究竟有些什么。首先会设置umask,path,还有语言环境,然后会设置success,failure,warning,normal几种情...

linux_python ⋅ 2015/12/08 ⋅ 0

每周送书 | 基于微服务的日志中心设计、实现与关键配置

引言: 日志向来都是运维以及开发人员最关心的问题。运维人员可以及时的通过相关日志信息发现系统隐患、系统故障并及时安排人员处理解决问题。开发人员解决问题离不开日志信息的协助定位。没...

技术小能手 ⋅ 06/14 ⋅ 0

iphone系统架构以及各层提供的主要服务

iPhone OS的技术实现包括四层:核心OS(Core OS)层、核心服务(Core Service)层、媒体(Media)层和Cocoa Touch层。系统低层为所有应用提供基础服务,其他较高层包含较多的复杂服务和技术。...

Orange1 ⋅ 2012/10/11 ⋅ 0

分布式搜索elasticsearch 索引文档的增删改查 入门

1、RESTful接口使用方法 为了方便直观我们使用Head插件提供的接口进行演示,实际上内部调用的RESTful接口。 RESTful接口URL的格式: http://localhost:9200/<index>/<type>/[<id>] 其中index...

Galy_绿 ⋅ 2015/12/10 ⋅ 0

Elasticsearch学习 -- 01(2.1.0 版本安装)

1、服务器信息 主机名 IP地址 内存大小qc-hermes-es-1 192.168.0.10 32Gqc-hermes-es-2 192.168.0.11 32Gqc-hermes-es-3 192.168.0.12 32G 2、基础安装 1)JDK安装 # cd /opt wget http://xx......

workming ⋅ 2015/12/14 ⋅ 0

TypeScript+Webpack开发环境记录

经历过大规模的JS(ES6)的开发,深刻的体验到,JS语言本身的诸多不便利。遂决定转用TypeScript。 本文只是记录一下,当前时间,配置本地webpack、ts、ts-loader开发环境时,需要调整的一些问...

曾建凯 ⋅ 2016/11/09 ⋅ 0

Elastic Stack从入门到实践之倒排索引与分词

ES的优势 相比Hadoop,开发周期可以缩短四倍左右 性能好,查询快,实时展示结果,拒绝T+1(隔一天储数据) 扩容方便 知识点 常见术语 文档 Document(用户存储在es中的数据文档) 索引Index(由...

含笑666 ⋅ 06/05 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

构建自定义组件

#前言 接上篇,因项目需由H5转到小程序,故需打造自定义对话框。而这块需使用到微信小程序的自定义组件功能。 小程序自定义组件 点击此处,可以查看小程序自定义组件的api。 从自定义组件的样...

387 ⋅ 15分钟前 ⋅ 0

Maven 项目添加本地jar包的三种方式

Maven 项目添加本地jar包的三种方式 翻译自3 ways to add local jar to maven project [TOC] 简介 在构建 Maven 项目时,有时候需要导入本地的jar包,本文介绍了三种添加本地jar包的方法。 ...

Os_yxguang ⋅ 16分钟前 ⋅ 0

long超过16位之后浏览器自动截断问题处理。

java前后端交互的过程中,定义的Long字段超过16位之后,js发生截断,从而不能跟后台数据进行匹配。 处理方法 把long型字段转成string进行处理。(可以使用json注解转换或者springmvc统一拦截...

strict_nerd ⋅ 18分钟前 ⋅ 0

一文带你搞定Integer

1.1 前言 Integer是int对应的包装类,它包含一个int类型的字段存储数据,并提供了多个基本操作,能在 int 类型和 String 类型之间互相转换。在Java5中,引入了自动装箱和自动拆箱功能,Java可...

筱虾米 ⋅ 19分钟前 ⋅ 0

Linux kernel脉络和主干总结

写在前面 前人常说,对Linux操作系统/内核的理解,是计算机行业从业者的内功,决定了你在技术领域想走多远。但内核的庞大以及学习曲线之陡峭,总让我在学习途中觉得犹如“管中窥豹”。 随着工...

Markz0928 ⋅ 33分钟前 ⋅ 0

在gcc中使用intel风格的内联汇编

很简单,内联汇编使用asm(“.intel_syntax noprefix/n”)声明一下,以后的内联汇编就可以用intel风格了,构建可执行文件时给gcc加上-masm=intel参数。 先写一个小程序测试一下: [cpp] view...

simpower ⋅ 44分钟前 ⋅ 0

NIO 之 ByteBuffer实现原理

相关文章 BIO、NIO、AIO 内部原理分析 NIO 之 Selector实现原理 NIO 之 Channel实现原理 前言 Java NIO 主要由下面3部分组成: Buffer Channel Selector 在传统IO中,流是基于字节的方式进行...

轨迹_ ⋅ 53分钟前 ⋅ 0

Jenkins docker权限问题

环境Ubuntu Server 工具 jenkins-war:2.89.2 报错信息 Cannot connect to the Docker daemon. Is the docker daemon running on this host?Build step 'Execute shell' marked build as fai......

Pulsar-V ⋅ 53分钟前 ⋅ 0

180621-一个简单的时间窗口设计与实现

如何设计一个计数的时间窗口 时间窗口,通常对于一些实时信息展示中用得比较多,比如维持一个五分钟的交易明细时间窗口,就需要记录当前时间,到五分钟之前的所有交易明细,而五分钟之前的数...

小灰灰Blog ⋅ 今天 ⋅ 0

Android之Dalvik、ART、JIT、AOT

Android之Dalvik、ART、JIT、AOT 本文内容:Dalvik、ART、JIT、AOT之间关系 本文定位:知识记录 学习过程记录,加深理解,提升文字组合表达能力。也希望能给学习的同学一些灵感 本文整理于[...

lichuangnk ⋅ 今天 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部