文档章节

elasticsearch bulk批量导入 大文件拆分

 枫林飘影
发布于 2017/07/25 08:59
字数 133
阅读 134
收藏 0

命令如下:

curl -s -XPOST http://localhost:9200/_bulk --data-binary @data.json

如果上传的data.json文件较大,可以将其切分为多个小文件,在批量上传,shell脚本如下:

#!/bin/bash

split -l 100000 -a 10 data.json ./tmp/carrier_bulk

BULK_FILES=./tmp/carrier_bulk*
for f in $BULK_FILES; do
    curl -s -XPOST http://localhost:9200/_bulk --data-binary @$f >> /dev/null
    echo $f >> ./import.log
done
  1. /dev/null不将输出打印到终端
  2. 每次循环输出到日志中,可以查看命令是否执行成功,也可以看命令执行的进度。

© 著作权归作者所有

共有 人打赏支持
粉丝 3
博文 40
码字总数 5173
作品 0
海淀
私信 提问
Elasticsearch _bulk批量导入数据问题

各位大神好,在下是Elasticsearch初学者,遇到如下问题 ,还请帮忙解答,不胜感激。 1 问题1,本人用如下命令批量导入数据到Elasticsearch: curl -XPOST http://192.168.6.64:9200/myindex...

余智君sir
2017/04/03
702
2
Elasticsearch 入门: _bulk 批量导入数据

批量导入数据 使用 Elasticsearch Bulk API 批量 update 步骤: 需求:我希望批量导入一个 type 的名词列表到 index 索引。 准备数据: 根据官方文档,Json 数据要准备成这个格式的: 其中 ...

王兵
05/10
0
0
针对将mysql数据同步到elasticsearch,采用插件方式和采用bulk等 API方式比较

针对将mysql数据同步到elasticsearch,通常做法是用插件同步(例如logstash-input-jdbc、elasticsearch-jdbc等等),但是elasticsearch提供了bulk批量插入的api,所以我比较好奇:一种方式是...

风雨诗轩
2017/10/13
59
1
如何用 Node.js 和 Elasticsearch 构建搜索引擎

Elasticsearch 是一款开源的搜索引擎,由于其高性能和分布式系统架构而备受关注。本文将讨论其关键特性,并手把手教你如何用它创建 Node.js 搜索引擎。 Elasticsearch 概述 Elasticsearch 底...

oschina
2016/09/29
10.2K
6
ES(elasticsearch)搜索引擎

ES(elasticsearch)搜索引擎 0、授人以渔,少走半年弯路! 死磕 Elasticsearch 方法论:普通程序员高效精进的 10 大狠招! 一、Elasitcsearch基础篇 1.1 Elasitcsearch基础认知 1、Elasticse...

Ocean_K
09/11
0
0

没有更多内容

加载失败,请刷新页面

加载更多

Ubuntu16.04下安装docker

[TOC] 本文开发环境为Ubuntu 16.04 LTS 64位系统,通过apt的docker官方源安装最新的Docker CE(Community Edition),即Docker社区版,是开发人员和小型团队的理想选择。 1. 开始安装 1.1 由于...

豫华商
23分钟前
3
0
使用XShell工具密钥认证登录Linux系统

如果你是一名Linux运维,那么Linux服务器的系统安全问题,可能是你要考虑的,而系统登录方式有两种,密码和密钥。哪一种更加安全呢? 无疑是后者! 这里我为大家分享用Xshell利器使用密钥的方...

dragon_tech
35分钟前
1
0
day178-2018-12-15-英语流利阅读-待学习

“真蛛奶茶”了解一下?蜘蛛也会产奶了 Lala 2018-12-15 1.今日导读 “蛋白质含量是牛奶的 4 倍,并有着更低的脂肪和含糖量”,听起来诱人又美味的并不是羊奶或豆奶,而是你可能打死都想不到...

飞鱼说编程
40分钟前
8
0
npm WARN optional SKIPPING OPTIONAL DEPENDENCY: fsevents

场景重现 npm install --verbose 安装依赖的时,出现如下警告 强迫症患者表示不能接受 npm WARN optional SKIPPING OPTIONAL DEPENDENCY: fsevents@1.2.4 (node_modules\fsevents):npm WARN......

taadis
44分钟前
2
0
OSChina 周六乱弹 —— 你一口我一口多咬一口是小狗

Osc乱弹歌单(2018)请戳(这里) 【今日歌曲】 @达尔文 :分享Roy Orbison的单曲《She's a Mystery to Me》 《She's a Mystery to Me》- Roy Orbison 手机党少年们想听歌,请使劲儿戳(这里...

小小编辑
今天
350
6

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部