文档章节

es集群笔记

gaolongquan
 gaolongquan
发布于 07/06 17:54
字数 1238
阅读 82
收藏 0

「深度学习福利」大神带你进阶工程师,立即查看>>>

es 集群的默认配置是当集群中的某个节点磁盘达到使用率为 85% 的时候, 就不会在该节点进行创建副本, 当磁盘使用率达到 90% 的时候, 尝试将该节点的副本重分配到其他节点. 当磁盘使用率达到 95% 的时候, 当前节点的所有索引将被设置为只读索引.
 
检查ES集群状态:
curl -XGET localhost:9200/_cluster/health?pretty
curl -u root:changeme -XGET http://ip:9200/_cluster/health?pretty
 
查看索引状态,比如有没有red情况
curl -XGET localhost:9200/_cat/indices?v
 
查看分片的状态
[root @node1 bin]# curl -s -XGET localhost:9200/_cat/shards?v
 
节点是否正常运行
curl -XGET http://127.0.0.1:9200/_cat/nodes?v
 
health status index uuid pri rep docs.count docs.deleted store.size pri.store.size
 
index:索引名
status:是否启用
rep:副本数
storesize:总大小(包含副本)
pristoresize:不包含副本的大小
 
返回的结果从左到右依次包括:pri(主分片数)、rep(副分片数)、docs.count(索引现有文档数)、docs.deleted(索引删除文档数)、store.size(索引总大小)、pri.store.size(索引主分片大小)。
 
也可以单独查询某一个索引下信息,如:想要查询索引test的相关信息:
 
GET _cat/indices/test?v
 
则此时响应结果只包含test的索引信息。
 
统计索引pristoresize
curl http://localhost:9200/_cat/indices?v |grep open > /tmp/es.index.collect
awk '{print $NF}' /tmp/es.index.collect > /tmp/es.index.collect.2
awk '{a+=/tb/?$0*1024:(/mb/?$0/1024:(/kb/?$0/(1024^2):$0))}END{print "total_index_size",a"G"}' /tmp/es.index.collect.2
 
取几条日志出来
curl -u root:changeme -XGET ip:9200/xx-xx-xx-xx@2020-06-12/_search?pretty -d'{"size":10}'
 
ES出现unassigned_shards
1)查看健康状态信息
curl -XGET http://localhost:9200/_cluster/health\?pretty
2)找到未分片的索引
curl -XGET http://localhost:9200/_cat/shards | grep UNASSIGNED
3)执行reroute 
curl -XPOST 'ip:9200/_cluster/reroute' -d '{ "commands" : [ { "allocate" : { "index" : "logstash-2018.07.20", "shard" : 3, "node" : "_0WmGRqVQ4WlQuEncqvOBw", "allow_primary" : true } }
4)实在不行就删除该索引
curl -XDELETE 'localhost:9200/xx-xx-xx-xx@2019-09-19/'
 
命令参数
1.Verbose(问号后面有个v)
打印出更详情
curl 'http://localhost:9200/_cat/master'
DfawFNOXRAauX60Q4LPIPg 10.122.64.9 10.122.64.9 1547098665000000509
curl 'http://localhost:9200/_cat/master?v'
id host ip node
DfawFNOXRAauX60Q4LPIPg 10.122.64.9 10.122.64.9 1547098665000000509
2.Help(问号后面有个help)
打印出可用字段
id | | node id
host | h | host name
ip | | ip address
node | n | node name
3.Headers(看上面字段)
每个命令都接受一个查询字符串参数h,该参数只强制显示这些列。
curl 'http://localhost:9200/_cat/master?h=id,ip'
DfawFNOXRAauX60Q4LPIPg 10.122.64.9
也可以
curl 'http://localhost:9200/_cat/master?h=i*'
DfawFNOXRAauX60Q4LPIPg 10.122.64.9
4.Numeric formats
第10列排序,可以改变time,size,byte
curl 'http://localhost:9200/_cat/indices?bytes=g' |sort -nrk10
第3列
curl 'http://localhost:9200/_cat/indices?bytes=g' |sort -nrk3
5.Response as text,json,smile,yaml,cbor
curl 'http://localhost:9200/_cat/master?format=json&pretty'
[
{
"id" : "DfawFNOXRAauX60Q4LPIPg",
"host" : "10.122.64.9",
"ip" : "10.122.64.9",
"node" : "1547098665000000509"
}
]
6.sort
字段排序
curl 'http://localhost:9200/_cat/templates?v&s=name'
curl 'http://localhost:9200/_cat/templates?v&s=name:desc'
 
allocation提供了一个快照,显示每个数据节点分配了多少碎片以及它们使用了多少磁盘空间。
GET _cat/allocation?help
GET _cat/allocation?v
curl http://localhost:9200/_cat/allocation?v
shards disk.indices disk.used disk.avail disk.total disk.percent host ip node
2258 584.1gb 602.1gb 232.8gb 834.9gb 72 10.122.64.11 10.122.64.11 1547098665000000709
2259 587.3gb 606.1gb 228.8gb 834.9gb 72 10.122.64.9 10.122.64.9 1547098665000000509
2259 585.5gb 603.5gb 231.4gb 834.9gb 72 10.122.64.10 10.122.64.10 1547098665000000609
 
文档计数指示活动文档的数量,不包括尚未由合并进程清理的已删除文档
curl 'http://localhost:9200/_cat/count?v'
epoch timestamp count
1582593605 09:20:05 23929092717
fielddata显示集群中每个数据节点上的fielddata当前使用了多少堆内存
curl 'http://10.122.64.9:9200/_cat/fielddata?v'
id host ip node field size
 
curl 'http://10.122.64.9:9200/_cat/health?v'
epoch timestamp cluster status node.total node.data shards pri relo init unassign pending_tasks max_task_wait_time active_shards_percent
1582595442 09:50:42 gq_cluster green 3 3 6776 3388 0 0 0 0 - 100.0%
 
 
查看 _cat 所有支持参数
/_cat/count
/_cat/count/{index}
/_cat/recovery
/_cat/recovery/{index}
/_cat/health
/_cat/pending_tasks
/_cat/aliases
/_cat/aliases/{alias}
/_cat/thread_pool
/_cat/thread_pool/{thread_pools}
/_cat/plugins
/_cat/fielddata
/_cat/fielddata/{fields}
/_cat/nodeattrs
/_cat/repositories
/_cat/snapshots/{repository}
/_cat/templates
 
查看节点 使用情况
curl -s 'localhost:9200/_cat/nodes?h=name,fm,fcm,sm,qcm,im&v'
name fm sm qcm
1547098665000000509 0b 2.5gb 1.2mb
1547098665000000709 0b 2.5gb 2.3mb
1547098665000000609 0b 2.5gb 2.1mb
fielddata.memory_size (fm), // 字段缓存占用内存
segments.memory (sm) // 每个分片包含的断 占用内存
filter_cache.memory_size (qcm) // 过滤语句缓存占用内存
curl http://10.122.64.9:9200/_cat/nodes?v
ip heap.percent ram.percent cpu load_1m load_5m load_15m node.role master name
10.122.64.9 56 97 1 1.23 0.59 0.42 mdi * 1547098665000000509
10.122.64.11 58 97 1 0.34 0.32 0.40 mdi - 1547098665000000709
10.122.64.10 59 96 0 0.13 0.23 0.30 mdi - 1547098665000000609
 
查看集群
curl localhost:5100/search/clusters | python -m json.tool
查看集群名
curl localhost:5100/search/clusters | python -m json.tool | grep cluster_name
查看剩余容量
curl localhost:5100/search/machines | python -m json.tool
 
 
 
 

gaolongquan
粉丝 14
博文 205
码字总数 73505
作品 0
厦门
运维
私信 提问
加载中
请先登录后再评论。
我的架构演化笔记 功能1: 基本的用户注册

“咚咚”,一阵急促的敲门声, 我从睡梦中惊醒,我靠,这才几点,谁这么早, 开门一看,原来我的小表弟放暑假了,来南京玩,顺便说跟我后面学习一个网站是怎么做出来的。 于是有了下面的一段...

强子哥哥
2014/05/31
976
3
Nutch学习笔记4-Nutch 1.7 的 索引篇 ElasticSearch

上一篇讲解了爬取和分析的流程,很重要的收获就是: 解析过程中,会根据页面的ContentType获得一系列的注册解析器, 依次调用每个解析器,当其中一个解析成功后就返回,否则继续执行下一个解...

强子哥哥
2014/06/26
712
0
树莓派(Raspberry Pi):完美的家用服务器

自从树莓派发布后,所有在互联网上的网站为此激动人心的设备提供了很多有趣和具有挑战性的使用方法。虽然这些想法都很棒,但树莓派( RPi )最明显却又是最不吸引人的用处是:创建你的完美家用...

异次元
2013/11/09
7K
8
桌面即时贴软件--GloboNote

GloboNote 是一个桌面记事软件,可帮你创建待办事宜、提醒和其他笔记信息。无限制即时贴的数量,可分组整理,支持搜索,可定制文本的显示格式(字体、颜色和大小),可将某个即时贴始终显示在...

匿名
2013/01/21
6.8K
1
集群存储系统--YFS

YFS集群存储系统由多个元数据服务器(MDS)、多个块数据服务器(CDS)和多个客户端(client)互联组成集群; 数据被分成64M固定大小的数据块(Chunk),每个数据块在CDS本地以常规文件的形式...

匿名
2013/02/19
1.8K
0

没有更多内容

加载失败,请刷新页面

加载更多

没有指定分支的“git push”的默认行为 - Default behavior of “git push” without a branch specified

问题: I use the following command to push to my remote branch: 我使用以下命令推送到我的远程分支: git push origin sandbox If I say 如果我说 git push origin does that push ch......

技术盛宴
24分钟前
11
0
为什么在允许某些Unicode字符的注释中执行Java代码?

问题: The following code produces the output "Hello World!" 以下代码生成输出“Hello World!” (no really, try it). (不,真的,试试吧)。 public static void main(String... args......

富含淀粉
今天
18
0
字符串格式:%与.format - String formatting: % vs. .format

问题: Python 2.6 introduced the str.format() method with a slightly different syntax from the existing % operator. Python 2.6引入了str.format()方法,其语法与现有的%运算符略有不......

javail
今天
22
0
什么是按位移位(位移)运算符以及它们如何工作? - What are bitwise shift (bit-shift) operators and how do they work?

问题: I've been attempting to learn C in my spare time, and other languages (C#, Java, etc.) have the same concept (and often the same operators) ... 我一直在尝试在业余时间学习......

法国红酒甜
今天
32
0
OSChina 周二乱弹 —— 卧槽 李荣浩的契约兽啊

Osc乱弹歌单(2020)请戳(这里) 【今日歌曲】 @薛定谔的兄弟 :分享洛神有语创建的歌单「我喜欢的音乐」: 《红色的回忆》- 痛仰乐队 手机党少年们想听歌,请使劲儿戳(这里) 动弹, 又好多...

小小编辑
今天
67
1

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部