文档章节

csv文件数据批量导入hbase1

 一滴水的眼泪
发布于 2016/04/09 14:49
字数 425
阅读 74
收藏 0
import java.io.IOException;  

import java.text.SimpleDateFormat;  
import java.util.Date;  
import org.apache.hadoop.conf.Configuration;  
import org.apache.hadoop.hbase.client.Put;  
import org.apache.hadoop.hbase.mapreduce.TableOutputFormat;  
import org.apache.hadoop.hbase.mapreduce.TableReducer;  
import org.apache.hadoop.hbase.util.Bytes;  
import org.apache.hadoop.io.LongWritable;  
import org.apache.hadoop.io.NullWritable;  
import org.apache.hadoop.io.Text;  
import org.apache.hadoop.mapreduce.Counter;  
import org.apache.hadoop.mapreduce.Job;  
import org.apache.hadoop.mapreduce.Mapper;  
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;  
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;  

public class UptoHBase {

	/**
	 * @param args
	 */
	public static void main(String[] args)  throws java.io.IOException, InterruptedException,ClassNotFoundException{
		// TODO Auto-generated method stub
		 final Configuration configuration = new Configuration();  
	        // 设置zookeeper  
	        //configuration.set("hbase.zookeeper.quorum", "hadoop1");  
	        configuration.set("hbase.zookeeper.quorum", "localhost");
	        
	        // 设置hbase表名称  
	       // configuration.set(TableOutputFormat.OUTPUT_TABLE, "wlan_log");  
	        configuration.set(TableOutputFormat.OUTPUT_TABLE, "testhbase"); 
	  
	        // 将该值改大,防止hbase超时退出  
	        configuration.set("dfs.socket.timeout", "180000");  
	    
	        final Job job = new Job(configuration, "HBaseBatchImport");  
	  
	        job.setMapperClass(BatchImportMapper.class);  
	        job.setReducerClass(BatchImportReducer.class);  
	        // 设置map的输出,不设置reduce的输出类型  
	        job.setMapOutputKeyClass(LongWritable.class);  
	        job.setMapOutputValueClass(Text.class);  
	     
	        job.setInputFormatClass(TextInputFormat.class);  
	        // 不再设置输出路径,而是设置输出格式类型  
	        job.setOutputFormatClass(TableOutputFormat.class);  
	  
	       // FileInputFormat.setInputPaths(job, "hdfs://hadoop1:9000/input");  
	        FileInputFormat.setInputPaths(job, "hdfs://localhost:9000/user/hadoop/testhbase");  
	     
	        job.waitForCompletion(true); 
	}
static class BatchImportMapper extends Mapper<LongWritable, Text, LongWritable, Text> {  
		SimpleDateFormat dateformat1 = new SimpleDateFormat("yyyyMMddHHmmss");  
		Text v2 = new Text();  

		protected void map(LongWritable key, Text value, Context context)  throws java.io.IOException, InterruptedException {  
			//final String[] splited = value.toString().split("\t");  
			final String[] splited = value.toString().split(",");  
			try {  
				final Date date = new Date(Long.parseLong(splited[0].trim()));  
				final String dateFormat = dateformat1.format(date);  
				//String rowKey = splited[1] + ":" + dateFormat; 
				String rowKey = splited[0] ; 
				//第四列的前面一位补充成为 0 凑齐6位数
				/*
				String str="000000";
				splited[3]=str.substring(0,6-splited[3].length())+splited[3];
				String rowKey = splited[0] + splited[1]+splited[2]+splited[3];
				*/
				//v2.set(rowKey + "\t" + value.toString());  
				v2.set(rowKey + "," + value.toString()); 
				context.write(key, v2); 
			} catch (NumberFormatException e) {  
				final Counter counter = context.getCounter("BatchImport","ErrorFormat");  
				counter.increment(1L);  
				System.out.println("出错了" + splited[0] + " " + e.getMessage());  
              }  
		}
 }

static class BatchImportReducer extends TableReducer<LongWritable, Text, NullWritable> {  
	protected void reduce(LongWritable key,java.lang.Iterable<Text> values, Context context) throws java.io.IOException, InterruptedException {  
              for (Text text : values) {  
              // final String[] splited = text.toString().split("\t");  
               final String[] splited = text.toString().split(",");
               final Put put = new Put(Bytes.toBytes(splited[0]));  
                 // put.add(Bytes.toBytes("cf"), Bytes.toBytes("date"), Bytes.toBytes(splited[1]));  
                 put.add(Bytes.toBytes("data"), Bytes.toBytes("h"),Bytes.toBytes(splited[2]));  
                 put.add(Bytes.toBytes("data"), Bytes.toBytes("l"),Bytes.toBytes(splited[3])); 
                  
                  // 省略其他字段,调用put.add(....)即可  
                  context.write(NullWritable.get(), put);  
              }  
	}  
}  
	

}


© 著作权归作者所有

共有 人打赏支持
上一篇: hbase批量导入2
下一篇: hbase批量导入2
粉丝 0
博文 2
码字总数 1001
作品 0
武汉
私信 提问
从phpMyAdmin批量导入Excel内容到MySQL

文章作者:姜南(Slyar) 文章来源:Slyar Home (www.slyar.com) 转载请注明,谢谢合作。 之前发了《表达式变量批量替换器 batchSQL》这篇文章,有童鞋说导入数据用phpMyAdmin提供的csv导入功能...

CN.QS
2013/04/24
201
1
Exchange 用户归档邮件导入导出PST操作实例

分享一个之前做过的Exchange邮箱数据文件的导入导出操作示例。目录内容如下: 目录 第一步 新建一个Exchange角色组并将其添加到Mailbox Import Export 管理角色中... 4 第二步 创建共享文件夹...

jialt
2017/08/03
0
0
记一次测试环境Hbase数据备份恢复以及恢复后部分表无法删除的问题处理

一、Hbase数据备份恢复 说明: 因为测试环境要修改hadoop配置文件hdfs-site.xml的参数hdfs.rootdir 修改前的配置 hbase.rootdir hdfs://masters/hbase1 修改后的配置 hbase.rootdir hdfs://m...

断臂人
06/15
0
0
数据导入工具--data2db

什么是data2db? 这是一个数据导入的工具,可以方便的把一些有格式的文件转换成sql语句方便导入到数据库 有什么用? 平常我们需要导入某些文件(比如csv,tsv文件)到数据库的话,需要单独写...

baizhongwei
2012/02/22
2K
0
天下数据支招大批量数据导入数据库,dbf导入oracle,csv导入oracle

   Excel 07-2003一个工作表最多可有65536,行最多可有256列;Excel 2007及以后版本,一个工作表最多可有1048576行,16384列。   一、小批量数据处理:   方法一:用excel可以直接打开...

冬眠的包子
2016/03/23
34
0

没有更多内容

加载失败,请刷新页面

加载更多

NEO共识算法图解

共识机制 术语说明 权益证明 PoS :一种利用网络协商一致来处理容错的算法。 工作量证明 PoW :一种利用计算能力来处理容错的算法。 拜占庭错误 BF: 一个节点保持功能,但以不诚实甚至是恶意...

NEO-FANS
10分钟前
1
0
maven编译时出现There are test failures

[ERROR] Failed to execute goal org.apache.maven.plugins:maven-surefire-plugin:2.10:test (default-test) on project web_nanchang: There are test failures. [ERROR] [ERROR] Please r......

洛水
14分钟前
1
0
delphi在memo实现全选

procedure TForm1.Memo1KeyDown(Sender: TObject; var Key: Word; Shift: TShiftState); begin if (Shift =[ssCtrl]) and (Key=65) then Memo1.SelectAll end;......

dillonxiao
17分钟前
0
0
MaxCompute表设计最佳实践

MaxCompute表设计最佳实践 产生大量小文件的操作 MaxCompute表的小文件会影响存储和计算性能,因此我们先介绍下什么样的操作会产生大量小文件,从 而在做表设计的时候考虑避开此类操作。 使用...

阿里云云栖社区
21分钟前
0
0
“价值2个亿”的AI代码

前两天朋友圈里看到一段号称“价值一亿”的代码: 可以智能应答,很厉害是不是? 源码: Python 极简版: while True: print(input('').replace('吗','').replace('?','!')) 其实就是...

crossin
23分钟前
0
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部