文档章节

spring hadoop配置

wiitht
 wiitht
发布于 2017/06/21 10:09
字数 196
阅读 52
收藏 0

1.maven pom文件添加

<dependency>
  <groupId>org.apache.hadoop</groupId>
  <artifactId>hadoop-common</artifactId>
  <scope>compile</scope>
  <exclusions>
    <exclusion>
      <groupId>log4j</groupId>
      <artifactId>log4j</artifactId>
    </exclusion>
    <exclusion>
      <groupId>org.slf4j</groupId>
      <artifactId>slf4j-log4j12</artifactId>
    </exclusion>
  </exclusions>
</dependency>
<dependency>
  <groupId>org.apache.hbase</groupId>
  <artifactId>hbase-client</artifactId>
  <scope>compile</scope>
  <exclusions>
    <exclusion>
      <groupId>log4j</groupId>
      <artifactId>log4j</artifactId>
    </exclusion>
    <exclusion>
      <groupId>org.slf4j</groupId>
      <artifactId>slf4j-log4j12</artifactId>
    </exclusion>
  </exclusions>
</dependency>

<dependency>
  <groupId>org.springframework.data</groupId>
  <artifactId>spring-data-hadoop-hbase</artifactId>
</dependency>

<dependency>
  <groupId>org.springframework.data</groupId>
  <artifactId>spring-data-hadoop</artifactId>
</dependency>

 

2.添加一个配置类

@Configuration
@PropertySource("classpath:application.yml")
public class HbaseConfig {

    @Value("${hadoop.defaultFS.url}")
    String defaultFS;

    @Value("${hbase.zk.quorum}")
    String zkQuorum;            //集群列表地址

    @Value("${hbase.zk.port}")
    String zkPort;

    @Value("${hbase.zk.znode.parent}")
    String zkZnodeParent; //zookeeper 使用的根目录地址

    @Bean(value = "hadoopConfiguration")
    public org.apache.hadoop.conf.Configuration getHadoopConfig(){
        org.apache.hadoop.conf.Configuration hadConfig = new org.apache.hadoop.conf.Configuration();
        hadConfig.addResource(defaultFS);
        return hadConfig;
    }

    @Bean(value = "hbaseConfiguration")
    public org.apache.hadoop.conf.Configuration getHbaseConfig(){
        try {
            return HBaseConfiguration.createClusterConf(getHadoopConfig(),
                zkQuorum + ":" + zkPort + ":" + zkZnodeParent
            );
        } catch (IOException e) {
            e.printStackTrace();
        }
        return null;
    }

    @Bean(value = "hbaseTemplate")
    public HbaseTemplate getHbaseTemplate(){
        return new HbaseTemplate(getHbaseConfig());
    }

}

3.yml文件配置

hadoop:
  defaultFS:
    url:  fs.defaultFS=hdfs://127.0.0.1:9000

hbase:
  zk:
    quorum: localhost
    port: 2181
    znode:
      parent: /hbase



 

© 著作权归作者所有

共有 人打赏支持
上一篇: scala参考资料
wiitht
粉丝 3
博文 158
码字总数 113941
作品 0
深圳
架构师
私信 提问
Spring Hadoop 1.0.0 M1 发布

Spring Hadoop 发布了首个里程碑版本,Spring Hadoop 提供了在 Spring 框架下编写 Hadoop 应用的支持。 Spring Hadoop 支持: Hadoop 配置 MapReduce, Streaming Jobs and Tool HBase 配置 ...

红薯
2012/03/01
1K
2
Spring for Apache Hadoop 2.1.0.M3 发布

Spring for Apache Hadoop 2.1.0.M3 发布,此版本现已提供在 Spring IO repository。 此版本主要是改进 YARN 和数据存储编写程序,同时还有新的 @Configruation 改进和 Boot 自动配置改进。更...

oschina
2014/12/19
1K
2
Spring for Apache Hadoop 2.5.0 GA 版本发布

Spring for Apache Hadoop 2.5.0 GA 版本发布,包括 bug 修复和版本升级,具体内容可查阅发行主页。 Spring for Apache Hadoop 提供了 Spring 框架用于创建和运行 Hadoop MapReduce、Hive 和...

王练
2017/07/07
762
6
Spring for Apache Hadoop 2.5.0.RC1 发布

Spring for Apache Hadoop 2.5.0.RC1 发布了。2.5 版本主要是一个错误修复和版本升级发布。 主要更新如下: General Add build support for HDP 2.6 [SHDP-583] Update to CDH version 5.10 ...

局长
2017/06/24
838
1
Spring for Apache Hadoop 2.1.0.M2 发布

Spring for Apache Hadoop 2.1.0.M2 发布,此版本现已提供在 Spring IO repository。 Spring for Apache Hadoop 2.1.0.M2 包括大量的版本更新: Spring Framework 4.1.2, Spring Boot 1.2.0.......

oschina
2014/11/15
1K
0

没有更多内容

加载失败,请刷新页面

加载更多

二进制相关

二进制 众所周知计算机使用的是二进制,数字的二进制是如何表示的呢? 实际就是逢二进一。比如 2 用二进制就是 10。那么根据此可以推算出 5的二进制等于 10*10+1 即为 101。 在计算机中,负数以...

NotFound403
昨天
0
0
day22:

1、写一个getinterface.sh 脚本可以接受选项[i,I],完成下面任务: 1)使用格式:getinterface.sh [-i interface | -I ip] 2)当用户使用-i选项时,显示指定网卡的IP地址;当用户使用-I选项...

芬野de博客
昨天
1
0
Spring Cloud Alibaba基础教程:使用Nacos实现服务注册与发现

自Spring Cloud Alibaba发布第一个Release以来,就备受国内开发者的高度关注。虽然Spring Cloud Alibaba还没能纳入Spring Cloud的主版本管理中,但是凭借阿里中间件团队的背景,还是得到不少...

程序猿DD
昨天
2
0
Java并发编程:深入剖析ThreadLocal

ThreadLocal 的理解 ThreadLocal,很多地方叫线程本地变量,或线程本地存储。ThreadLocal为变量在每个线程中都创建了一个副本,每个线程可以访问自己内部的副本变量。===》解决的问题是线程间...

细节探索者
昨天
1
0
【Python3之异常处理】

一、错误和异常 1.错误 代码运行前的语法或者逻辑错误 语法错误(这种错误,根本过不了python解释器的语法检测,必须在程序执行前就改正) def test: ^SyntaxError: invalid...

dragon_tech
昨天
2
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部