文档章节

ElasticSearch 映射到 hdfs的快照

弘_轩
 弘_轩
发布于 2017/05/31 18:21
字数 245
阅读 111
收藏 1

一、下载:

https://artifacts.elastic.co/downloads/elasticsearch-plugins/repository-hdfs/repository-hdfs-5.4.0.zip

二、安装

./bin/elasticsearch-plugin install file:///opt/elasticsearch-5.4.0/repository-hdfs-5.4.0.zip

三、插件的bug,遇到修改

vim /opt/elasticsearch-5.4.0/plugins/repository-hdfs/plugin-security.policy

grant {
  // Hadoop UserGroupInformation, HdfsConstants, PipelineAck clinit
  permission java.lang.RuntimePermission "getClassLoader";

  // UserGroupInformation (UGI) Metrics clinit
  permission java.lang.RuntimePermission "accessDeclaredMembers";
  permission java.lang.reflect.ReflectPermission "suppressAccessChecks";

  // org.apache.hadoop.util.StringUtils clinit
  permission java.util.PropertyPermission "*", "read,write";

  // org.apache.hadoop.util.ShutdownHookManager clinit
  permission java.lang.RuntimePermission "shutdownHooks";

  // JAAS is used always, we use a fake subject, hurts nobody
  permission javax.security.auth.AuthPermission "getSubject";
  permission javax.security.auth.AuthPermission "doAs";
  permission javax.security.auth.AuthPermission "modifyPrivateCredentials";
## 注意,以下为我添加的信息
  permission java.lang.RuntimePermission "accessDeclaredMembers";
  permission java.lang.RuntimePermission "getClassLoader";
  permission java.lang.RuntimePermission "shutdownHooks";
  permission java.lang.reflect.ReflectPermission "suppressAccessChecks";
  permission javax.security.auth.AuthPermission "doAs";
  permission javax.security.auth.AuthPermission "getSubject";
  permission javax.security.auth.AuthPermission "modifyPrivateCredentials";
  permission java.security.AllPermission;
  permission java.util.PropertyPermission "*", "read,write";
  permission javax.security.auth.PrivateCredentialPermission "org.apache.hadoop.security.Credentials * \"*\"", "read";
};

vim /opt/elasticsearch-5.4.0/config/jvm.options

添加以下

-Djava.security.policy=file:////opt/elasticsearch-5.4.0/plugins/repository-hdfs/plugin-security.policy

四、复制 hdfs-site.xml 到/opt/elasticsearch-5.4.0/config/

五、添加创建快照仓库

PUT _snapshot/my_hdfs_repository/snapshot_url
{
  "type": "hdfs",
  "settings": {
    "uri": "hdfs://master200:8020",
    "path": "/logs/elasticsearch/my_hdfs_repository",
    "conf_location": "hdfs-site.xml"
  }
}

六、创建快照

PUT _snapshot/my_hdfs_repository/snapshot_url
{"indices":"url,url2"}

七、恢复数据

备份恢复

POST _snapshot/my_hdfs_repository/snapshot_url/_restore

备份删除

curl -XDELETE "localhost:9200/_snapshot/backup/snapshot_1"
查看仓库信息

curl -XGET 'http://localhost:9200/_snapshot/backup?pretty'

 

© 著作权归作者所有

弘_轩
粉丝 5
博文 16
码字总数 10368
作品 0
福州
高级程序员
私信 提问
将Elasticsearch的快照备份到HDFS

1、安装Elasticsearch插件repository-hdfs 下载地址:https://artifacts.elastic.co/downloads/elasticsearch-plugins/repository-hdfs/repository-hdfs-6.2.3.zip 将zip包放在/usr/local下 ......

缤纷世界wb
2018/03/21
0
0
Elasticsearch 快照到 HDFS 遇到的 PrivateCredentialPermission 问题及解决方法

版权声明:Follow your heart and intuition. https://blog.csdn.net/qq_35246620/article/details/89212486 文章目录 问题背景 在 Elasticsearch 集群中配置了 HDFS 插件,用于存储集群的索...

CG国斌
04/11
0
0
详述 Elasticsearch 安装 HDFS 插件存储快照及还原的方法

版权声明:Follow your heart and intuition. https://blog.csdn.net/qq_35246620/article/details/88874767 文章目录 Elasticsearch 支持多种存储库的配置,如 S3、Azure、Google Cloud St......

CG国斌
05/01
0
0
Elastic Stack 7.2.0 发布,隆重推出 Elastic SIEM 和 Elastic App Search

Elastic Stack 7.2.0 发布了,Elasticsearch 作为 Elastic Stack 的核心,它是一个分布式、RESTful 风格的搜索和数据分析引擎,能够解决不断涌现出的各种用例。 此版本引入了一些新功能,包括...

xplanet
06/27
6.6K
4
ElasticSearch开发问题汇总(不断更新中)

1、Mapping: [译]ElasticSearch数据类型--string类型已死, 字符串数据永生 ElasticSearch动态日期映射 2、Spring Data Elasticsearch: Spring Data Elasticsearch教程...

九州暮云
2018/07/18
199
0

没有更多内容

加载失败,请刷新页面

加载更多

【在 Nervos CKB 上做开发】Nervos CKB 脚本编程简介[1]:验证模型

CKB 脚本编程简介[1]: 验证模型 本文作者:Xuejie 原文链接:Introduction to CKB Script Programming 1: Validation Model 本文译者:Jason,Orange 译文链接:https://talk.nervos.org/t/c...

NervosCommunity
47分钟前
7
0
消息中间件——RabbitMQ的高级特性

前言 前面我们介绍了RabbitMQ的安装、各大消息中间件的对比、AMQP核心概念、管控台的使用、快速入门RabbitMQ。本章将介绍RabbitMQ的高级特性。分两篇(上/下)进行介绍。 消息如何保障100%的...

Java架构师ya七
今天
9
0
如何编写高质量的 JS 函数(1) -- 敲山震虎篇

本文首发于 vivo互联网技术 微信公众号 链接:https://mp.weixin.qq.com/s/7lCK9cHmunvYlbm7Xi7JxQ 作者:杨昆 一千个读者,有一千个哈姆雷特。 此系列文章将会从函数的执行机制、鲁棒性、函...

vivo互联网技术
今天
8
1
学会这5个Excel技巧,让你拒绝加班

在网上,随处都可以看到Excel技巧,估计已看腻了吧?但下面5个Excel技巧会让你相见恨晚。关键的是它们个个还很实用 图一 技巧1:快速删除边框 有时当我们处理数据需要去掉边框,按Ctrl+Shif...

干货趣分享
今天
13
0
JS基础-该如何理解原型、原型链?

JS的原型、原型链一直是比较难理解的内容,不少初学者甚至有一定经验的老鸟都不一定能完全说清楚,更多的"很可能"是一知半解,而这部分内容又是JS的核心内容,想要技术进阶的话肯定不能对这个...

OBKoro1
今天
12
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部