文档章节

ES基础信息记录

年少爱追梦
 年少爱追梦
发布于 2017/07/24 14:55
字数 686
阅读 52
收藏 0

#程序员薪资揭榜#你做程序员几年了?月薪多少?发量还在么?>>>

ES基础信息记录

bin---含有运行ES实例和管理插件的一些脚本

config---主要是一些设置文件,如elasticsearch.yml 和logging.yml

lib---包含相关的包文件

plugins---包含相关插件文件

logs---日志文件

data---es存放数据的位置

works---临时文件

关闭ES,http接口请求 http://localhost:9200/_cluster/nodes/_shutdown

logging.yml文件定义了多少信息写入日志系统,定义日志文件,并定期创建新文件,监控环境,备份解决方案,系统调试。

ES插件,数据同步插件,中文分词插件,hadoop插件,脚本支持插件,基础服务用插件是一个比较好的应用场景。

Cluster是对外提供搜索服务的集群,组成集群的各节点叫node是ES的运行实例。Node氛围,IndexNode(读写)和DataNode(数据存储访问,负载均衡),shards将es的完整索引分为若干部分,每个部分就是shards,shards存储在不同的或相同的node上,shards的创建一般是在索引创建前指定,并且索引创建后不能更改。ES会将查询发送给不同的Shards上并将返回结果合并。

Replicase是索引的冗余备份,可用于防止数据丢失或用于负载均衡。

Recovery是在有节点Node加入或者退出集群Cluster或故障节点重新启动时,ES对索引分片Shards进行重新分配。

River是运行在ES内部的插件,主要用于获取外部异构数据,然后在ES中创建索引。消息插件,JDBC插件,Monogodb插件。

Gateway是ES索引数据快照的存储方式,ES集群重新启动的时候就会从Gateway中读取索引数据。Gateway支持多种快照放肆,本地文件系统,分布式文件系统等。

Discovery.zen自动发现和master阶段选举,可在config/elasticearch.yml(广播协议和多播协议,进行节点通信,也支持p2p交互)

Transport代表ES与客户端的交流方式。默认使用TCP协议进行交互,同时支持HTTP协议,Thrift,Servlet。Memcached,ZeroMQ等传输协议(插件形式)。

Index,Type,Document,Field等。Index是ES存储数据的地方类似Databases,Type类似Table,Document是一行数据,列是field,模式Schema类似映射Mapping。

Mapping定义索引下Type的字段处理规则,如索引如何建立,索引数据类型,是否保存原始索引Json文档,是否压缩原始Json文档,是否需要分词处理,如何进行分词处理,一个索引文件下能够存储不同映射(Mapping)的类型文件,mapping通过语句删除。

 

 

 

 

 

© 著作权归作者所有

年少爱追梦
粉丝 35
博文 197
码字总数 122637
作品 0
杭州
程序员
私信 提问
加载中

评论(0)

自定义log4j的appender写es日志

本篇和大家分享的是自定义log4j的appender,用es来记录日志并且通过kibana浏览es记录;就目前互联网或者一些中大型公司通常会用到第三方组合elk,其主要用写数据到es中,然后通过可视化工具k...

神牛003
2019/05/18
0
0
ES[7.6.x]学习笔记(八)数据的增删改

在前面几节的内容中,我们学习索引、字段映射、分析器等,这些都是使用ES的基础,就像在数据库中创建表一样,基础工作做好以后,我们就要真正的使用它了,这一节我们要看看怎么向索引里写入数...

小忽悠
05/09
0
0
用Elasticsearch代替数据库存储日志方式

之前的项目中一直使用的是数据库表记录用户操作日志的,但随着时间的推移,数据库log单表是越来越大「不考虑删除」,再加上近期项目中需要用到,所以干脆把这些用户日志迁移到ES上来了。 环境...

niceyoo
05/26
0
0
ElasticSearch基础入门学习笔记

前言 本笔记的内容主要是在从0开始学习ElasticSearch中,按照官方文档以及自己的一些测试的过程。 安装 由于是初学者,按照官方文档安装即可。前面ELK入门使用主要就是讲述了安装过程,这里不...

Ryan.Miao
02/20
0
0
Elasticsearch简介

ES是一个高扩展的、开源的、全文检索的搜索引擎,它提供了近实时的索引、搜索、分析功能。Shay Banon是ES奠基者,系统是在Apache Lucene的基础上采用Java实现的。Lucene非常复杂,而ES通过R...

Mr_YangFei
2016/03/17
294
0

没有更多内容

加载失败,请刷新页面

加载更多

给大家讲一个笑话:技术是无国界的!

在我接触互联网的最初几年,总会在技术论坛上看到有人宣称:技术是没有国界的,我深信不疑! 做程序员之后,我慢慢接触到了很多很多的开源软件,我真的无比的感慨:开源是人类最伟大的发明。...

osc_hzf6peqc
24分钟前
13
0
医学多模态图像分割小结 - 知乎

在医学图象中,多模态数据因成像机理不同而能从多种层面提供信息。多模态图像分割包含重点问题为如何融合(fusion)不同模态间信息,本文主要记录笔者最近所读,欢迎批评指正补充 1. A review:...

osc_htns3spg
25分钟前
24
0
Curve-GCN:图卷积网络用于活动轮廓演变 - 知乎

CNN做分割需要处理数据量很大的grid数据,需要对所有点的label进行预测,而且传统CNN并不会结合点与点之间的联系。 使用图结构建模分割轮廓或分割曲面,然后采用GCN,仿照传统的deformable ...

osc_q7wo0k6s
25分钟前
26
0
录好的音频在哪个文件夹?迅捷录音软件还能这么查找!

录好的音频在哪个文件夹?在录制之前经常忘记调整保存位置,等到录完音频才发现,自己竟然找不到音频文件了。这种情况在录音的时候并不少见,软件的音频文件会默认保存在安装目录下,找起来确...

dawda
26分钟前
22
0
docker: Error response from daemon: Conflict. The container name "/xx" is already in use

使用docker 出现Error response from daemon: Conflict. The container name “***” is already in use 解决方法: (1)给容器换一个名字, 比如说 docker run -it --name=mycentos2 centos......

osc_h7q38oso
27分钟前
23
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部