文档章节

hbase批量导入2

 一滴水的眼泪
发布于 2016/04/09 15:00
字数 576
阅读 16
收藏 0
点赞 1
评论 0

import java.io.IOException;  


import java.text.SimpleDateFormat;  

import java.util.Date;  

import org.apache.hadoop.conf.Configuration;  

import org.apache.hadoop.hbase.client.Put;  

import org.apache.hadoop.hbase.mapreduce.TableOutputFormat;  

import org.apache.hadoop.hbase.mapreduce.TableReducer;  

import org.apache.hadoop.hbase.util.Bytes;  

import org.apache.hadoop.io.LongWritable;  

import org.apache.hadoop.io.NullWritable;  

import org.apache.hadoop.io.Text;  

import org.apache.hadoop.mapreduce.Counter;  

import org.apache.hadoop.mapreduce.Job;  

import org.apache.hadoop.mapreduce.Mapper;  

import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;  

import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;  


public class UptoHBase {


/**

* @param args

*/

public static void main(String[] args)  throws java.io.IOException, InterruptedException,ClassNotFoundException{

// TODO Auto-generated method stub

final Configuration configuration = new Configuration();  

       // 设置zookeeper  

       //configuration.set("hbase.zookeeper.quorum", "hadoop1");  

       configuration.set("hbase.zookeeper.quorum", "localhost");

       

       // 设置hbase表名称  

      // configuration.set(TableOutputFormat.OUTPUT_TABLE, "wlan_log");  

       //configuration.set(TableOutputFormat.OUTPUT_TABLE, "testhbase"); 

       configuration.set(TableOutputFormat.OUTPUT_TABLE, "Bearing1_1_acc"); 

       // 将该值改大,防止hbase超时退出  

       configuration.set("dfs.socket.timeout", "180000");  

   

       final Job job = new Job(configuration, "HBaseBatchImport");  

 

       job.setMapperClass(BatchImportMapper.class);  

       job.setReducerClass(BatchImportReducer.class);  

       // 设置map的输出,不设置reduce的输出类型  

       job.setMapOutputKeyClass(LongWritable.class);  

       job.setMapOutputValueClass(Text.class);  

    

       job.setInputFormatClass(TextInputFormat.class);  

       // 不再设置输出路径,而是设置输出格式类型  

       job.setOutputFormatClass(TableOutputFormat.class);  

 

      // FileInputFormat.setInputPaths(job, "hdfs://hadoop1:9000/input");  

      // FileInputFormat.setInputPaths(job, "hdfs://localhost:9000/user/hadoop/testhbase");  

       FileInputFormat.setInputPaths(job, "hdfs://localhost:9000/user/hadoop/Bearing1_1_acc"); 

       job.waitForCompletion(true); 

}

static class BatchImportMapper extends Mapper<LongWritable, Text, LongWritable, Text> {  

Text v2 = new Text();  


protected void map(LongWritable key, Text value, Context context)  throws java.io.IOException, InterruptedException {  

//final String[] splited = value.toString().split("\t");  

final String[] splited = value.toString().split(",");

//System.out.println("%%%%%%%%%%%%"+splited[3]);

try {  

//String rowKey = splited[1] + ":" + dateFormat; 

//String rowKey = splited[0] ; 

//第四列的前面一位补充成为 0 凑齐6位数

String str0="00";

splited[0]=str0.substring(0,2-splited[0].length())+splited[0];

//System.out.println("%%%%%%%%%%%%"+splited[0]);

String str1="00";

splited[1]=str1.substring(0,2-splited[1].length())+splited[1];

//System.out.println(".............."+splited[1]);

String str2="00";

splited[2]=str2.substring(0,2-splited[2].length())+splited[2];

//System.out.println(">>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>"+splited[2]);

String str3="00000000000";

splited[3]=str3.substring(0,11-splited[3].length())+splited[3];

//System.out.println("%%%%%%%%%%%%"+splited[3]);

String rowKey = splited[0]+splited[1]+splited[2]+splited[3];

 

v2.set(rowKey + "," + value.toString()); 

//System.out.println("#####################" + key);

System.out.println("^^^^^^^^^^^^^^^^^^^" + rowKey);

//System.out.println(">>>>>>>>>>>>>>" + value.toString());

context.write(key, v2); 

} catch (NumberFormatException e) {  

final Counter counter = context.getCounter("BatchImport","ErrorFormat");  

counter.increment(1L);  

System.out.println("出错了" + splited[0] + " " + e.getMessage());  

              }  

}

 }


static class BatchImportReducer extends TableReducer<LongWritable, Text, NullWritable> {  

protected void reduce(LongWritable key,java.lang.Iterable<Text> values, Context context) throws java.io.IOException, InterruptedException {  

              for (Text text : values) {  

              // final String[] splited = text.toString().split("\t");  

               final String[] splited = text.toString().split(",");

               final Put put = new Put(Bytes.toBytes(splited[0]));  

                 // put.add(Bytes.toBytes("cf"), Bytes.toBytes("date"), Bytes.toBytes(splited[1]));  

                 //put.add(Bytes.toBytes("data"), Bytes.toBytes("h"),Bytes.toBytes(splited[2]));  

                 //put.add(Bytes.toBytes("data"), Bytes.toBytes("l"),Bytes.toBytes(splited[3])); 

                 put.add(Bytes.toBytes("data"), Bytes.toBytes("h"),Bytes.toBytes(splited[5]));  

                 put.add(Bytes.toBytes("data"), Bytes.toBytes("l"),Bytes.toBytes(splited[6]));  

                  // 省略其他字段,调用put.add(....)即可  

                  context.write(NullWritable.get(), put);  

              }  

}  

}

下面截图反应的就是一次性导入2000+csv文件时的错误,扫描表时出现的


© 著作权归作者所有

共有 人打赏支持
粉丝 0
博文 2
码字总数 1001
作品 0
武汉
Sqoop数据导入到HBase遇上的问题及解决方法

  【IT168 技术】运行bin/sqoop import --connect jdbc:mysql://ip:port/database --username * --password **--hbase-bulkload --hbase-create-table --column-family info --hbase-row-k......

中国大数据 ⋅ 05/31 ⋅ 0

记一次测试环境Hbase数据备份恢复以及恢复后部分表无法删除的问题处理

一、Hbase数据备份恢复 说明: 因为测试环境要修改hadoop配置文件hdfs-site.xml的参数hdfs.rootdir 修改前的配置 hbase.rootdir hdfs://masters/hbase1 修改后的配置 hbase.rootdir hdfs://m...

断臂人 ⋅ 06/15 ⋅ 0

HIVE和HBASE之间,主要的区别是什么?

  【IT168 评论】Apache Hive是一个构建在hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言,这种语言最终被转化为Map/Reduce. 虽然Hiv...

中国大数据 ⋅ 05/18 ⋅ 0

Apache HBase 2.0.0 发布,Hadoop 数据库

Apache HBase 2.0.0 发布了,HBase 2.0.0 是 HBase 的第二个主要版本。 此次更新信息如下: 一个新的区域分配管理器(“AMv2”), 用于配置读取和/或写入路径以运行堆外的装置,以及可选的内...

雨田桑 ⋅ 05/03 ⋅ 0

HBase 和 Hive 的差别是什么,各自适用在什么场景中?

https://www.zhihu.com/question/21677041/answer/185664626 先放结论:Hbase和Hive在大数据架构中处在不同位置: Hbase主要解决实时数据查询问题 Hive主要解决数据处理和计算问题,一般是配...

chenhao_asd ⋅ 04/24 ⋅ 0

阿里HBase的数据管道设施实践与演进

摘要:第九届中国数据库技术大会,阿里巴巴技术专家孟庆义对阿里HBase的数据管道设施实践与演进进行了讲解。主要从数据导入场景、 HBase Bulkload功能、HImporter系统、数据导出场景、HExpo...

云迹九州 ⋅ 05/21 ⋅ 0

Phoenix三贴之一:Phoenix扫盲介绍贴

1 简介Introduction Apache Phoenix is a relational database layer over HBase delivered as a client-embedded JDBC driver targeting low latency queries over HBase data. Apache Phoe......

袁一涵 ⋅ 05/08 ⋅ 0

中国HBase技术社区成员招募中

HBase是一个分布式的面向列的开源数据库,是大数据生态圈中非常重要的一环,主要应用在大数据量(PB级)存储及超大规模(千万级QPS)随机读写访问。 为了让众多HBase相关从业人员及爱好者有一...

wenzi0563 ⋅ 05/31 ⋅ 0

中国HBase技术社区第一届Meetup资料大合集

2018年6月6号,由中国HBase技术社区组织,阿里云主办的中国第一次HBase Meetup在北京望京阿里中心举行,来自阿里、小米、滴滴、360等公司的各位HBase的PMC、committer共聚一堂,共同探讨HBa...

wenzi0563 ⋅ 06/14 ⋅ 0

win环境下 hbase 数据库搭建流程

Hbase单机版安装使用教程 Hbase介绍请参考技术支持文档,这里只说明Hbase 的安装和使用 第一步:下载安装Hbase数据库 链接:链接:https://pan.baidu.com/s/1si6Nokvz8xkUsmefsRlntQ 密码:k...

lijiaweizuishuai ⋅ 05/28 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

来自一个优秀Java工程师的简历

写在前面: 鉴于前几天的一份前端简历,虽然带着很多不看好的声音,但却帮助了很多正在求职路上的人,不管评论怎么说,我还是决定要贴出一份后端的简历。 XXX ID:357912485 目前正在找工作 ...

颖伙虫 ⋅ 12分钟前 ⋅ 0

Confluence 6 恢复一个站点有关使用站点导出为备份的说明

推荐使用生产备份策略。我们推荐你针对你的生产环境中使用的 Confluence 参考 Production Backup Strategy 页面中的内容进行备份和恢复(这个需要你备份你的数据库和 home 目录)。XML 导出备...

honeymose ⋅ 今天 ⋅ 0

JavaScript零基础入门——(九)JavaScript的函数

JavaScript零基础入门——(九)JavaScript的函数 欢迎回到我们的JavaScript零基础入门,上一节课我们了解了有关JS中数组的相关知识点,不知道大家有没有自己去敲一敲,消化一下?这一节课,...

JandenMa ⋅ 今天 ⋅ 0

火狐浏览器各版本下载及插件httprequest

各版本下载地址:http://ftp.mozilla.org/pub/mozilla.org//firefox/releases/ httprequest插件截至57版本可用

xiaoge2016 ⋅ 今天 ⋅ 0

Docker系列教程28-实战:使用Docker Compose运行ELK

原文:http://www.itmuch.com/docker/28-docker-compose-in-action-elk/,转载请说明出处。 ElasticSearch【存储】 Logtash【日志聚合器】 Kibana【界面】 答案: version: '2'services: ...

周立_ITMuch ⋅ 今天 ⋅ 0

使用快嘉sdkg极速搭建接口模拟系统

在具体项目研发过程中,一旦前后端双方约定好接口,前端和app同事就会希望后台同事可以尽快提供可供对接的接口方便调试,而对后台同事来说定好接口还仅是个开始、设计流程,实现业务逻辑,编...

fastjrun ⋅ 今天 ⋅ 0

PXE/KickStart 无人值守安装

导言 作为中小公司的运维,经常会遇到一些机械式的重复工作,例如:有时公司同时上线几十甚至上百台服务器,而且需要我们在短时间内完成系统安装。 常规的办法有什么? 光盘安装系统 ===> 一...

kangvcar ⋅ 昨天 ⋅ 0

使用Puppeteer撸一个爬虫

Puppeteer是什么 puppeteer是谷歌chrome团队官方开发的一个无界面(Headless)chrome工具。Chrome Headless将成为web应用自动化测试的行业标杆。所以我们很有必要来了解一下它。所谓的无头浏...

小草先森 ⋅ 昨天 ⋅ 0

Java Done Right

* 表示难度较大或理论性较强。 ** 表示难度更大或理论性更强。 【Java语言本身】 基础语法,面向对象,顺序编程,并发编程,网络编程,泛型,注解,lambda(Java8),module(Java9),var(...

风华神使 ⋅ 昨天 ⋅ 0

Linux系统日志

linux 系统日志 /var/log/messages /etc/logrotate.conf 日志切割配置文件 https://my.oschina.net/u/2000675/blog/908189 logrotate 使用详解 dmesg 命令 /var/log/dmesg 日志 last命令,调......

Linux学习笔记 ⋅ 昨天 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部