文档章节

csv文件数据批量导入hbase1

 一滴水的眼泪
发布于 2016/04/09 14:49
字数 425
阅读 59
收藏 0
点赞 1
评论 0
import java.io.IOException;  

import java.text.SimpleDateFormat;  
import java.util.Date;  
import org.apache.hadoop.conf.Configuration;  
import org.apache.hadoop.hbase.client.Put;  
import org.apache.hadoop.hbase.mapreduce.TableOutputFormat;  
import org.apache.hadoop.hbase.mapreduce.TableReducer;  
import org.apache.hadoop.hbase.util.Bytes;  
import org.apache.hadoop.io.LongWritable;  
import org.apache.hadoop.io.NullWritable;  
import org.apache.hadoop.io.Text;  
import org.apache.hadoop.mapreduce.Counter;  
import org.apache.hadoop.mapreduce.Job;  
import org.apache.hadoop.mapreduce.Mapper;  
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;  
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;  

public class UptoHBase {

	/**
	 * @param args
	 */
	public static void main(String[] args)  throws java.io.IOException, InterruptedException,ClassNotFoundException{
		// TODO Auto-generated method stub
		 final Configuration configuration = new Configuration();  
	        // 设置zookeeper  
	        //configuration.set("hbase.zookeeper.quorum", "hadoop1");  
	        configuration.set("hbase.zookeeper.quorum", "localhost");
	        
	        // 设置hbase表名称  
	       // configuration.set(TableOutputFormat.OUTPUT_TABLE, "wlan_log");  
	        configuration.set(TableOutputFormat.OUTPUT_TABLE, "testhbase"); 
	  
	        // 将该值改大,防止hbase超时退出  
	        configuration.set("dfs.socket.timeout", "180000");  
	    
	        final Job job = new Job(configuration, "HBaseBatchImport");  
	  
	        job.setMapperClass(BatchImportMapper.class);  
	        job.setReducerClass(BatchImportReducer.class);  
	        // 设置map的输出,不设置reduce的输出类型  
	        job.setMapOutputKeyClass(LongWritable.class);  
	        job.setMapOutputValueClass(Text.class);  
	     
	        job.setInputFormatClass(TextInputFormat.class);  
	        // 不再设置输出路径,而是设置输出格式类型  
	        job.setOutputFormatClass(TableOutputFormat.class);  
	  
	       // FileInputFormat.setInputPaths(job, "hdfs://hadoop1:9000/input");  
	        FileInputFormat.setInputPaths(job, "hdfs://localhost:9000/user/hadoop/testhbase");  
	     
	        job.waitForCompletion(true); 
	}
static class BatchImportMapper extends Mapper<LongWritable, Text, LongWritable, Text> {  
		SimpleDateFormat dateformat1 = new SimpleDateFormat("yyyyMMddHHmmss");  
		Text v2 = new Text();  

		protected void map(LongWritable key, Text value, Context context)  throws java.io.IOException, InterruptedException {  
			//final String[] splited = value.toString().split("\t");  
			final String[] splited = value.toString().split(",");  
			try {  
				final Date date = new Date(Long.parseLong(splited[0].trim()));  
				final String dateFormat = dateformat1.format(date);  
				//String rowKey = splited[1] + ":" + dateFormat; 
				String rowKey = splited[0] ; 
				//第四列的前面一位补充成为 0 凑齐6位数
				/*
				String str="000000";
				splited[3]=str.substring(0,6-splited[3].length())+splited[3];
				String rowKey = splited[0] + splited[1]+splited[2]+splited[3];
				*/
				//v2.set(rowKey + "\t" + value.toString());  
				v2.set(rowKey + "," + value.toString()); 
				context.write(key, v2); 
			} catch (NumberFormatException e) {  
				final Counter counter = context.getCounter("BatchImport","ErrorFormat");  
				counter.increment(1L);  
				System.out.println("出错了" + splited[0] + " " + e.getMessage());  
              }  
		}
 }

static class BatchImportReducer extends TableReducer<LongWritable, Text, NullWritable> {  
	protected void reduce(LongWritable key,java.lang.Iterable<Text> values, Context context) throws java.io.IOException, InterruptedException {  
              for (Text text : values) {  
              // final String[] splited = text.toString().split("\t");  
               final String[] splited = text.toString().split(",");
               final Put put = new Put(Bytes.toBytes(splited[0]));  
                 // put.add(Bytes.toBytes("cf"), Bytes.toBytes("date"), Bytes.toBytes(splited[1]));  
                 put.add(Bytes.toBytes("data"), Bytes.toBytes("h"),Bytes.toBytes(splited[2]));  
                 put.add(Bytes.toBytes("data"), Bytes.toBytes("l"),Bytes.toBytes(splited[3])); 
                  
                  // 省略其他字段,调用put.add(....)即可  
                  context.write(NullWritable.get(), put);  
              }  
	}  
}  
	

}


© 著作权归作者所有

共有 人打赏支持
粉丝 0
博文 2
码字总数 1001
作品 0
武汉
从phpMyAdmin批量导入Excel内容到MySQL

文章作者:姜南(Slyar) 文章来源:Slyar Home (www.slyar.com) 转载请注明,谢谢合作。 之前发了《表达式变量批量替换器 batchSQL》这篇文章,有童鞋说导入数据用phpMyAdmin提供的csv导入功能...

CN.QS ⋅ 2013/04/24 ⋅ 1

Exchange 用户归档邮件导入导出PST操作实例

分享一个之前做过的Exchange邮箱数据文件的导入导出操作示例。目录内容如下: 目录 第一步 新建一个Exchange角色组并将其添加到Mailbox Import Export 管理角色中... 4 第二步 创建共享文件夹...

jialt ⋅ 2017/08/03 ⋅ 0

记一次测试环境Hbase数据备份恢复以及恢复后部分表无法删除的问题处理

一、Hbase数据备份恢复 说明: 因为测试环境要修改hadoop配置文件hdfs-site.xml的参数hdfs.rootdir 修改前的配置 hbase.rootdir hdfs://masters/hbase1 修改后的配置 hbase.rootdir hdfs://m...

断臂人 ⋅ 06/15 ⋅ 0

天下数据支招大批量数据导入数据库,dbf导入oracle,csv导入oracle

   Excel 07-2003一个工作表最多可有65536,行最多可有256列;Excel 2007及以后版本,一个工作表最多可有1048576行,16384列。   一、小批量数据处理:   方法一:用excel可以直接打开...

冬眠的包子 ⋅ 2016/03/23 ⋅ 0

数据导入工具--data2db

什么是data2db? 这是一个数据导入的工具,可以方便的把一些有格式的文件转换成sql语句方便导入到数据库 有什么用? 平常我们需要导入某些文件(比如csv,tsv文件)到数据库的话,需要单独写...

baizhongwei ⋅ 2012/02/22 ⋅ 0

【临实战】DevOps 也要懂点 Excel

本文涉及一些 Excel 的操作,效果拔群还简单 步骤: 获取 Docker 版本,并生成一个 csv 文件 导入 CSV 到 Excel 并简单清洗数据 使用 Excel 透视表功能做简单的计数统计 最终结果 🎉 获取 ...

⋅ 01/12 ⋅ 0

利用CSVDE命令实现域用户账户的批量添加示例

以下内容摘自笔者编著的最新图书《网管员必读——网络管理》(第2版)一书。 2.4.5节第3小点:利用CSVDE命令实现域用户账户的批量添加示例 现用记事本程序制作为hellen、lycb、linda、cathy...

第三方那块 ⋅ 2017/11/26 ⋅ 0

exchange 批量添加联系人

本文分步说明如何使用如何使用逗号分隔值数据交换工具csvde将域用户信息从域控中导出,如何使用Exchange 命令行管理程序在exchange中创建联系人和添加修改联系人属性。一些方案中可能使用此法...

kindlica ⋅ 2012/12/24 ⋅ 0

用 PostgreSQL 的 COPY 导入导出 CSV

TL;DR 原文 来自我的博客。 无意中看到了一篇讲 数据批量导入 的文章,才注意到 PostgreSQL 的 命令。简而言之,它用来在文件和数据库之间复制数据,效率非常高,并且支持 CSV 。 导出 CSV ...

darkbaby123 ⋅ 2017/02/13 ⋅ 0

Office 365 系列之六:通过管理中心批量导入用户

本章节跟大家介绍通过 Office 365 管理中心批量导入用户并分配许可。 登陆 Office 365 管理中心,切换到“活动用户”页面,点击“批量添加” 点击“下载仅具有标头的 CSV 文件”或“下载具有...

Juck_Zhang ⋅ 2017/11/17 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

用ZBLOG2.3博客写读书笔记网站能创造今日头条的辉煌吗?

最近两年,著名的自媒体网站今日头条可以说是火得一塌糊涂,虽然从目前来看也遇到了一点瓶颈,毕竟发展到了一定的规模,继续增长就更加难了,但如今的今日头条规模和流量已经非常大了。 我们...

原创小博客 ⋅ 36分钟前 ⋅ 0

MyBatis四大核心概念

本文讲解 MyBatis 四大核心概念(SqlSessionFactoryBuilder、SqlSessionFactory、SqlSession、Mapper)。 MyBatis 作为互联网数据库映射工具界的“上古神器”,训有四大“神兽”,谓之:Sql...

waylau ⋅ 56分钟前 ⋅ 0

以太坊java开发包web3j简介

web3j(org.web3j)是Java版本的以太坊JSON RPC接口协议封装实现,如果需要将你的Java应用或安卓应用接入以太坊,或者希望用java开发一个钱包应用,那么用web3j就对了。 web3j的功能相当完整...

汇智网教程 ⋅ 今天 ⋅ 0

2个线程交替打印100以内的数字

重点提示: 线程的本质上只是一个壳子,真正的逻辑其实在“竞态条件”中。 举个例子,比如本题中的打印,那么在竞态条件中,我只需要一个方法即可; 假如我的需求是2个线程,一个+1,一个-1,...

Germmy ⋅ 今天 ⋅ 0

Springboot2 之 Spring Data Redis 实现消息队列——发布/订阅模式

一般来说,消息队列有两种场景,一种是发布者订阅者模式,一种是生产者消费者模式,这里利用redis消息“发布/订阅”来简单实现订阅者模式。 实现之前先过过 redis 发布订阅的一些基础概念和操...

Simonton ⋅ 今天 ⋅ 0

error:Could not find gradle

一.更新Android Studio后打开Project,报如下错误: Error: Could not find com.android.tools.build:gradle:2.2.1. Searched in the following locations: file:/D:/software/android/andro......

Yao--靠自己 ⋅ 昨天 ⋅ 0

Spring boot 项目打包及引入本地jar包

Spring Boot 项目打包以及引入本地Jar包 [TOC] 上篇文章提到 Maven 项目添加本地jar包的三种方式 ,本篇文章记录下在实际项目中的应用。 spring boot 打包方式 我们知道,传统应用可以将程序...

Os_yxguang ⋅ 昨天 ⋅ 0

常见数据结构(二)-树(二叉树,红黑树,B树)

本文介绍数据结构中几种常见的树:二分查找树,2-3树,红黑树,B树 写在前面 本文所有图片均截图自coursera上普林斯顿的课程《Algorithms, Part I》中的Slides 相关命题的证明可参考《算法(第...

浮躁的码农 ⋅ 昨天 ⋅ 0

android -------- 混淆打包报错 (warning - InnerClass ...)

最近做Android混淆打包遇到一些问题,Android Sdutio 3.1 版本打包的 错误如下: Android studio warning - InnerClass annotations are missing corresponding EnclosingMember annotation......

切切歆语 ⋅ 昨天 ⋅ 0

eclipse酷炫大法之设置主题、皮肤

eclipse酷炫大法 目前两款不错的eclipse 1.系统设置 Window->Preferences->General->Appearance 2.Eclipse Marketplace下载【推荐】 Help->Eclipse Marketplace->搜索‘theme’进行安装 比如......

anlve ⋅ 昨天 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部