文档章节

spring hadoop配置

wiitht
 wiitht
发布于 2017/06/21 10:09
字数 196
阅读 51
收藏 0

1.maven pom文件添加

<dependency>
  <groupId>org.apache.hadoop</groupId>
  <artifactId>hadoop-common</artifactId>
  <scope>compile</scope>
  <exclusions>
    <exclusion>
      <groupId>log4j</groupId>
      <artifactId>log4j</artifactId>
    </exclusion>
    <exclusion>
      <groupId>org.slf4j</groupId>
      <artifactId>slf4j-log4j12</artifactId>
    </exclusion>
  </exclusions>
</dependency>
<dependency>
  <groupId>org.apache.hbase</groupId>
  <artifactId>hbase-client</artifactId>
  <scope>compile</scope>
  <exclusions>
    <exclusion>
      <groupId>log4j</groupId>
      <artifactId>log4j</artifactId>
    </exclusion>
    <exclusion>
      <groupId>org.slf4j</groupId>
      <artifactId>slf4j-log4j12</artifactId>
    </exclusion>
  </exclusions>
</dependency>

<dependency>
  <groupId>org.springframework.data</groupId>
  <artifactId>spring-data-hadoop-hbase</artifactId>
</dependency>

<dependency>
  <groupId>org.springframework.data</groupId>
  <artifactId>spring-data-hadoop</artifactId>
</dependency>

 

2.添加一个配置类

@Configuration
@PropertySource("classpath:application.yml")
public class HbaseConfig {

    @Value("${hadoop.defaultFS.url}")
    String defaultFS;

    @Value("${hbase.zk.quorum}")
    String zkQuorum;            //集群列表地址

    @Value("${hbase.zk.port}")
    String zkPort;

    @Value("${hbase.zk.znode.parent}")
    String zkZnodeParent; //zookeeper 使用的根目录地址

    @Bean(value = "hadoopConfiguration")
    public org.apache.hadoop.conf.Configuration getHadoopConfig(){
        org.apache.hadoop.conf.Configuration hadConfig = new org.apache.hadoop.conf.Configuration();
        hadConfig.addResource(defaultFS);
        return hadConfig;
    }

    @Bean(value = "hbaseConfiguration")
    public org.apache.hadoop.conf.Configuration getHbaseConfig(){
        try {
            return HBaseConfiguration.createClusterConf(getHadoopConfig(),
                zkQuorum + ":" + zkPort + ":" + zkZnodeParent
            );
        } catch (IOException e) {
            e.printStackTrace();
        }
        return null;
    }

    @Bean(value = "hbaseTemplate")
    public HbaseTemplate getHbaseTemplate(){
        return new HbaseTemplate(getHbaseConfig());
    }

}

3.yml文件配置

hadoop:
  defaultFS:
    url:  fs.defaultFS=hdfs://127.0.0.1:9000

hbase:
  zk:
    quorum: localhost
    port: 2181
    znode:
      parent: /hbase



 

© 著作权归作者所有

共有 人打赏支持
wiitht
粉丝 2
博文 158
码字总数 113789
作品 0
深圳
架构师
eclipse中运行wordcount时显示找不到map和reduce类

eclipse中运行hadoop中wordcount任务时显示:找不到map和reduce类,并且有很多失败的task。 程序配置的问题,如果是spring hadoop程序,则是hadoop.properties配置文件的问题,其配置问题如下...

闵开慧
2012/09/05
0
0
学习Spring框架等技术的方向、方法和动机

学习Spring框架 最早学习Spring框架是在大二的时候,当时看了几本书,看了一些视频,主要是传智播客的。更多的,还是写代码,单独写Spring的,也有与Struts和Hibernate等框架整合的。很久以来...

jtn
2015/04/13
0
0
Spring Data(一)概念和仓库的定义

Spring Data(一)概念和仓库的定义 Spring Data的主要任务是为数据访问提供一个相似的、一致的、基于Spring的编程模型,同时又保留着下面各个数据存储的特征。它使得使用数据访问技术非常的...

小忽悠
06/21
0
0
Spring Cloud-Honghu Cloud分布式微服务云系统—技术点

鸿鹄Cloud是基于springcloud的,spring cloud本身提供的组件就很多,但我们需要按照企业的业务模式来定制企业所需要的通用架构,那我们现在需要考虑使用哪些技术呢? 下面我针对于spring cl...

itcloud
04/25
0
0
Spring Boot入门开发之明月千城(一)

最近数据分析的项目也即将告一段落了,中间也积累了很多知识,特此记录一下。其中用的最爽的Web组合开发就是Intellij IDEA + Maven + Spring Boot + Velocity + Boostrap + jQuery了,关于后...

九劫散仙
2015/04/24
0
0

没有更多内容

加载失败,请刷新页面

加载更多

awk命令用法介绍

10月18日任务 9.6/9.7 awk 1.awk(上)(下) 1.awk 分段操作功能 指定分隔符,并把第一段打印出来,不会改动文件内容 将所有内容打印出来 awk 没有指定分隔符号,则会默认用空格或者空白字符...

hhpuppy
34分钟前
0
0
Spring Cloud Eureka Server高可用之:在线扩容

本文共 1591字,阅读大约需要 6分钟 ! 概述 业务微服务化以后,我们要求服务高可用,于是我们可以部署多个相同的服务实例,并引入负载均衡机制。而微服务注册中心作为微服务化系统的重要单元...

CodeSheep
46分钟前
1
0
内网esxi主机上安装CoreOS虚拟机

CoreOS是一个为专门运行容器而设计的轻量级linux发行版,旨在通过轻量的系统架构和灵活的应用程序部署能力简化数据中心的维护成本和复杂度。它没有包管理工具,运行容器化应用以提供服务;默...

hiwill
今天
1
0
20181018 上课截图

![](https://oscimg.oschina.net/oscnet/49f66c08ab8c59a21a3b98889d961672f30.jpg) ![](https://oscimg.oschina.net/oscnet/a61bc2d618b403650dbd4bf68a671fabecb.jpg)......

小丑鱼00
今天
3
0
WinDbg

参考来自:http://www.cnit.net.cn/?id=225 SRV*C:\Symbols*http://msdl.microsoft.com/download/symbols ctrl + d to open dump_file Microsoft (R) Windows Debugger Version 6.12.0002.633......

xueyuse0012
今天
3
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部