elasticsearch的hadoop插件使用
elasticsearch的hadoop插件使用
纳兰琴 发表于3年前
elasticsearch的hadoop插件使用
  • 发表于 3年前
  • 阅读 1023
  • 收藏 4
  • 点赞 0
  • 评论 0

【腾讯云】新注册用户域名抢购1元起>>>   

摘要: 备份elasticsearch数据到HDFS

        ES的Hadoop插件,总共有3个,我们要使用的是 hadoop HDFS Snapshot/Restore plugin,它主要用于备份ES数据到HDFS,或者从HDFS恢复数据,也就是ES的snapshot/restore特性。还原可以还原到别的集群,集群名字和节点数量不一样都可以,也就是 可以做 数据迁移


安装插件

bin/plugin -i elasticsearch/elasticsearch-repository-hdfs/2.0.2

这里hadoop的版本一定要对应好,否则后面会失败的。如果自动不能安装,可以手动去库里面下载,然后放到ES插件目录下面。

插件库地址


创建配置

curl -XPUT 'http://localhost:9200/_snapshot/my_backup' -d '{
  "type": "hdfs",
  "settings": {
    "uri": "hdfs://myhadoop:8020",
    "path": "/es",
    "conf_location": "hdfs-site.xml"
  }
}'

{"acknowledged":true} #返回这个表示创建成功

通过下面的命令,可以查看所有创建的配置

curl http://localhost:9200/_snapshot/_all

备份数据

curl -XPUT "localhost:9200/_snapshot/my_backup/snapshot_1?wait_for_completion=true"


备份成功,我们可以在 http://myhadoop:50070/explorer.html#/es 下面看到我们创建的备份

还原数据

curl -XPOST "localhost:9200/_snapshot/my_backup/snapshot_1/_restore?wait_for_completion=true"


标签: elasticsearch hadoop
  • 打赏
  • 点赞
  • 收藏
  • 分享
共有 人打赏支持
粉丝 45
博文 18
码字总数 13442
×
纳兰琴
如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
* 金额(元)
¥1 ¥5 ¥10 ¥20 其他金额
打赏人
留言
* 支付类型
微信扫码支付
打赏金额:
已支付成功
打赏金额: