文档章节

Hbase结合MapReduce的批量导入

蓝狐乐队
 蓝狐乐队
发布于 2014/04/30 00:07
字数 955
阅读 414
收藏 4

对以下手机流量信息进行模拟导入,放置到HDFS文件系统input文件夹下

1363157985066 13726230503 00-FD-07-A4-72-B8:CMCC 120.196.100.82 i02.c.aliimg.com 24 27 2481 24681 200

1363157995052 13826544101 5C-0E-8B-C7-F1-E0:CMCC 120.197.40.4 4 0 264 0 200

1363157991076 13926435656 20-10-7A-28-CC-0A:CMCC 120.196.100.99 2 4 132 1512 200

1363154400022 13926251106 5C-0E-8B-8B-B1-50:CMCC 120.197.40.4 4 0 240 0 200

1363157993044 18211575961 94-71-AC-CD-E6-18:CMCC-EASY 120.196.100.99 iface.qiyi.com 视频网站 15 12 1527 2106 200

1363157995074 84138413 5C-0E-8B-8C-E8-20:7DaysInn 120.197.40.4 122.72.52.12 20 16 4116 1432 200

1363157993055 13560439658 C4-17-FE-BA-DE-D9:CMCC 120.196.100.99 18 15 1116 954 200

1363157995033 15920133257 5C-0E-8B-C7-BA-20:CMCC 120.197.40.4 sug.so.360.cn 信息安全 20 20 3156 2936 200

1363157983019 13719199419 68-A1-B7-03-07-B1:CMCC-EASY 120.196.100.82 4 0 240 0 200

1363157984041 13660577991 5C-0E-8B-92-5C-20:CMCC-EASY 120.197.40.4 s19.cnzz.com 站点统计 24 9 6960 690 200

1363157973098 15013685858 5C-0E-8B-C7-F7-90:CMCC 120.197.40.4 rank.ie.sogou.com 搜索引擎 28 27 3659 3538 200

1363157986029 15989002119 E8-99-C4-4E-93-E0:CMCC-EASY 120.196.100.99 www.umeng.com 站点统计 3 3 1938 180 200

1363157992093 13560439658 C4-17-FE-BA-DE-D9:CMCC 120.196.100.99 15 9 918 4938 200

1363157986041 13480253104 5C-0E-8B-C7-FC-80:CMCC-EASY 120.197.40.4 3 3 180 180 200

1363157984040 13602846565 5C-0E-8B-8B-B6-00:CMCC 120.197.40.4 2052.flash2-http.qq.com 综合门户 15 12 1938 2910 200

1363157995093 13922314466 00-FD-07-A2-EC-BA:CMCC 120.196.100.82 img.qfc.cn 12 12 3008 3720 200

1363157982040 13502468823 5C-0A-5B-6A-0B-D4:CMCC-EASY 120.196.100.99 y0.ifengimg.com 综合门户 57 102 7335 110349 200

1363157986072 18320173382 84-25-DB-4F-10-1A:CMCC-EASY 120.196.100.99 input.shouji.sogou.com 搜索引擎 21 18 9531 2412 200

1363157990043 13925057413 00-1F-64-E1-E6-9A:CMCC 120.196.100.55 t3.baidu.com 搜索引擎 69 63 11058 48243 200

1363157988072 13760778710 00-FD-07-A4-7B-08:CMCC 120.196.100.82 2 2 120 120 200

1363157985079 13823070001 20-7C-8F-70-68-1F:CMCC 120.196.100.99 6 3 360 180 200

1363157985069 13600217502 00-1F-64-E2-E8-B1:CMCC 120.196.100.55 18 138 1080 186852 200


01 package Hbase;
02
03 import java.io.IOException;
04 import java.text.SimpleDateFormat;
05 import java.util.Date;
06
07 import org.apache.hadoop.conf.Configuration;
08 import org.apache.hadoop.hbase.client.Put;
09 import org.apache.hadoop.hbase.mapreduce.TableOutputFormat;
10 import org.apache.hadoop.hbase.mapreduce.TableReducer;
11 import org.apache.hadoop.hbase.util.Bytes;
12 import org.apache.hadoop.io.LongWritable;
13 import org.apache.hadoop.io.NullWritable;
14 import org.apache.hadoop.io.Text;
15 import org.apache.hadoop.mapreduce.Counter;
16 import org.apache.hadoop.mapreduce.Job;
17 import org.apache.hadoop.mapreduce.Mapper;
18 import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
19 import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
20
21 public class BatchImport {
22     static class BatchImportMapper extends Mapper<LongWritable, Text, LongWritable, Text>{
23         SimpleDateFormat dateformat1=new SimpleDateFormat("yyyyMMddHHmmss");
24         Text v2 = new Text();
25
26         protected void map(LongWritable key, Text value, Context context) throws java.io.IOException ,InterruptedException {
27             final String[] splited = value.toString().split("\t");
28             try {
29                 final Date date = new Date(Long.parseLong(splited[0].trim()));
30                 final String dateFormat = dateformat1.format(date);
31                 String rowKey = splited[1]+":"+dateFormat;
32                 v2.set(rowKey+"\t"+value.toString());
33                 context.write(key, v2);
34             catch (NumberFormatException e) {
35                 final Counter counter = context.getCounter("BatchImport""ErrorFormat");
36                 counter.increment(1L);
37                 System.out.println("出错了"+splited[0]+" "+e.getMessage());
38             }
39         };
40     }
41
42     static class BatchImportReducer extends TableReducer<LongWritable, Text, NullWritable>{
43         protected void reduce(LongWritable key, java.lang.Iterable<Text> values,    Context context) throws java.io.IOException ,InterruptedException {
44             for (Text text : values) {
45                 final String[] splited = text.toString().split("\t");
46
47                 final Put put = new Put(Bytes.toBytes(splited[0]));
48                 put.add(Bytes.toBytes("cf"), Bytes.toBytes("date"), Bytes.toBytes(splited[1]));
49                 put.add(Bytes.toBytes("cf"), Bytes.toBytes("msisdn"), Bytes.toBytes(splited[2]));
50                 put.add(Bytes.toBytes("cf"),Bytes.toBytes("apmac"), Bytes.toBytes(splited[3]));
51                 //省略其他字段,调用put.add(....)即可
52                 context.write(NullWritable.get(), put);
53             }
54         };
55     }
56
57     public static void main(String[] args) throws Exception {
58
59
60         final Configuration configuration = new Configuration();
61         //设置zookeeper
62         configuration.set("hbase.zookeeper.quorum""hadoop");
63         //设置hbase表名称
64         configuration.set(TableOutputFormat.OUTPUT_TABLE, "wlan_log");
65         //将该值改大,防止hbase超时退出
66         configuration.set("dfs.socket.timeout""180000");
67
68         final Job job = new Job(configuration, "HBaseBatchImport");
69
70         job.setMapperClass(BatchImportMapper.class);
71         job.setReducerClass(BatchImportReducer.class);
72         //设置map的输出,不设置reduce的输出类型
73         job.setMapOutputKeyClass(LongWritable.class);
74         job.setMapOutputValueClass(Text.class);
75
76         job.setInputFormatClass(TextInputFormat.class);
77         //不再设置输出路径,而是设置输出格式类型
78         job.setOutputFormatClass(TableOutputFormat.class);
79
80         FileInputFormat.setInputPaths(job, "hdfs://hadoop:9000/input");
81
82         job.waitForCompletion(true);
83     }
84 }





先后启动Hadoop-->zookeeper-->habase如下

创建与之对应的表结构

RowKey设计:msisdn:日期时间串(yyyyMMddHHmmss

执行java程序后

01 查询手机13450456688的所有上网记录
02   public static void scan(String tableName)throws IOException{
03       HTable table = new HTable(getConfiguration(),tableName);
04       Scan scan = new Scan();
05       scan.setStartRow(Bytes.toBytes("13450456688:/"));
06       scan.setStopRow(Bytes.toBytes("13450456688::"));
07       ResultScanner scanner =table.getScanner(scan);
08       int i=0;
09       for (Result result : scanner) {
10          System.out.println("Scan:"+i+++" "+result);
11       }
12   }
01 查询134号段的所有上网记录
02 public static void scanPeriod(String tableName) throws IOException{
03   HTable table = new HTable(getConfiguration(),tableName);
04   Scan scan = new Scan();
05   scan.setStartRow(Bytes.toBytes("134/"));
06   scan.setStopRow(
07   Bytes.toBytes("134:"));
08   scan.setMaxVersions(1);
09   ResultScanner scanner =table.getScanner(scan);
10   int i=0;
11   for (Result result : scanner) {
12        System.out.println("Scan:"+i+++" "+result);
13     }
14   }



本文转载自:

蓝狐乐队
粉丝 107
博文 325
码字总数 94335
作品 0
昌平
程序员
私信 提问
HBase实战之HBase BulkLoad批量写入数据

1.概述 在进行数据传输时,批量加载数据到HBase集群有多种方式,比如通过HBase API进行批量写入数据、使用Sqoop工具批量导数到HBase集群、使用MapReduce批量导入等。这些方式,导入数据的过程...

HBase技术社区
2018/10/02
0
0
HBase BulkLoad批量写入数据实战

1.概述 在进行数据传输中,批量加载数据到HBase集群有多种方式,比如通过HBase API进行批量写入数据、使用Sqoop工具批量导数到HBase集群、使用MapReduce批量导入等。这些方式,在导入数据的过...

哥不是小萝莉
2018/08/19
0
0
Apache HBase 1.2.7 发布,分布式数据库

Apache HBase 1.2.7 发布了,HBase 1.2.7 是 HBase 1.2 系列中的最新维护版本,继续以向 Hadoop 和 NoSQL 社区提供稳定、可靠的数据库为目标。此版本包括 250 多个自 1.2.6 以来的错误修复。...

局长
2018/09/27
1.4K
1
利用BulkLoad导入Hbase表

1、插入HBase表传统方法具有什么问题? 我们先看下 HBase 的写流程: 通常 MapReduce 在写HBase时使用的是TableOutputFormat方式,在map/reduce中直接生成put对象写入HBase,该方式在大量数据...

混绅士
2018/06/28
0
0
mapreduce操作hbase报错NoClassDefFoundError

下面是具体的报错信息,执行方式:/opt/cloudera/parcels/CDH/bin/hadoop jar mapreduce.jar 查了官方文档,可以通过制定hadoop_classpath实现,但是我效,操作如下: 第一步:指定环境变量 ...

skysky
2015/05/27
3.1K
2

没有更多内容

加载失败,请刷新页面

加载更多

Java中的原生关键字是什么?

在玩这个谜题 (这是Java关键字琐事游戏)时,我遇到了native关键字。 Java中的native关键字用于什么? #1楼 实现本机代码的函数被声明为本机。 Java本机接口(JNI)是一个编程框架,使在Jav...

技术盛宴
今天
54
0
博通与苹果达成150亿美元协议,覆盖未来3年苹果产品

  据外媒报道,芯片供应商博通(Broadcom)宣布已与苹果公司签署了一份协议,为其提供“高性能的无线组件和模块”,博通表示,这些芯片将在未来 3 年半的时间内用于自 2020 年 1 月份以后发...

水果黄瓜
今天
95
0
《算法》笔记 17 - 数据压缩

读写二进制数据 基因组数据的压缩 游程编码 位图 霍夫曼压缩 前缀码和单词查找树 构造前缀码的单词查找树 写入和读取单词查找树 使用前缀码压缩 使用前缀码展开 LZW压缩 LZW的单词查找树 LZ...

zhixin9001
今天
55
0
#技术分享# 再论DDD之【实体】建模

2020年春节第一天,早早醒来,出去晨跑一下,目前武汉以及周边的疫情处于红色报警状态,今年春节宅家是最安全的做法。闲暇之余,还需要探索技术,跑步中忽然想到了【忒修斯之船】的小故事,感...

边缘行者
今天
88
0
工作自由--2020年开篇,开启一个项目:工作自由 worksolo.cn

新年伊始,我突发奇想,也是很多人敢想而不敢做的事情,下面我以一个多年软件开发从业者的角度去思考,去设计这个项目,当然希望看到这篇文章的你可以给我更多思路: 项目名称:工作自由 域名...

_aron_
今天
51
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部