文档章节

spring hadoop配置

wiitht
 wiitht
发布于 2017/06/21 10:09
字数 196
阅读 48
收藏 0

1.maven pom文件添加

<dependency>
  <groupId>org.apache.hadoop</groupId>
  <artifactId>hadoop-common</artifactId>
  <scope>compile</scope>
  <exclusions>
    <exclusion>
      <groupId>log4j</groupId>
      <artifactId>log4j</artifactId>
    </exclusion>
    <exclusion>
      <groupId>org.slf4j</groupId>
      <artifactId>slf4j-log4j12</artifactId>
    </exclusion>
  </exclusions>
</dependency>
<dependency>
  <groupId>org.apache.hbase</groupId>
  <artifactId>hbase-client</artifactId>
  <scope>compile</scope>
  <exclusions>
    <exclusion>
      <groupId>log4j</groupId>
      <artifactId>log4j</artifactId>
    </exclusion>
    <exclusion>
      <groupId>org.slf4j</groupId>
      <artifactId>slf4j-log4j12</artifactId>
    </exclusion>
  </exclusions>
</dependency>

<dependency>
  <groupId>org.springframework.data</groupId>
  <artifactId>spring-data-hadoop-hbase</artifactId>
</dependency>

<dependency>
  <groupId>org.springframework.data</groupId>
  <artifactId>spring-data-hadoop</artifactId>
</dependency>

 

2.添加一个配置类

@Configuration
@PropertySource("classpath:application.yml")
public class HbaseConfig {

    @Value("${hadoop.defaultFS.url}")
    String defaultFS;

    @Value("${hbase.zk.quorum}")
    String zkQuorum;            //集群列表地址

    @Value("${hbase.zk.port}")
    String zkPort;

    @Value("${hbase.zk.znode.parent}")
    String zkZnodeParent; //zookeeper 使用的根目录地址

    @Bean(value = "hadoopConfiguration")
    public org.apache.hadoop.conf.Configuration getHadoopConfig(){
        org.apache.hadoop.conf.Configuration hadConfig = new org.apache.hadoop.conf.Configuration();
        hadConfig.addResource(defaultFS);
        return hadConfig;
    }

    @Bean(value = "hbaseConfiguration")
    public org.apache.hadoop.conf.Configuration getHbaseConfig(){
        try {
            return HBaseConfiguration.createClusterConf(getHadoopConfig(),
                zkQuorum + ":" + zkPort + ":" + zkZnodeParent
            );
        } catch (IOException e) {
            e.printStackTrace();
        }
        return null;
    }

    @Bean(value = "hbaseTemplate")
    public HbaseTemplate getHbaseTemplate(){
        return new HbaseTemplate(getHbaseConfig());
    }

}

3.yml文件配置

hadoop:
  defaultFS:
    url:  fs.defaultFS=hdfs://127.0.0.1:9000

hbase:
  zk:
    quorum: localhost
    port: 2181
    znode:
      parent: /hbase



 

© 著作权归作者所有

共有 人打赏支持
wiitht
粉丝 2
博文 158
码字总数 113789
作品 0
深圳
架构师
eclipse中运行wordcount时显示找不到map和reduce类

eclipse中运行hadoop中wordcount任务时显示:找不到map和reduce类,并且有很多失败的task。 程序配置的问题,如果是spring hadoop程序,则是hadoop.properties配置文件的问题,其配置问题如下...

闵开慧
2012/09/05
0
0
Spring Data(一)概念和仓库的定义

Spring Data(一)概念和仓库的定义 Spring Data的主要任务是为数据访问提供一个相似的、一致的、基于Spring的编程模型,同时又保留着下面各个数据存储的特征。它使得使用数据访问技术非常的...

小忽悠
06/21
0
0
学习Spring框架等技术的方向、方法和动机

学习Spring框架 最早学习Spring框架是在大二的时候,当时看了几本书,看了一些视频,主要是传智播客的。更多的,还是写代码,单独写Spring的,也有与Struts和Hibernate等框架整合的。很久以来...

jtn
2015/04/13
0
0
Spring Boot入门开发之明月千城(一)

最近数据分析的项目也即将告一段落了,中间也积累了很多知识,特此记录一下。其中用的最爽的Web组合开发就是Intellij IDEA + Maven + Spring Boot + Velocity + Boostrap + jQuery了,关于后...

九劫散仙
2015/04/24
0
0
Spring Cloud-Honghu Cloud分布式微服务云系统—技术点

鸿鹄Cloud是基于springcloud的,spring cloud本身提供的组件就很多,但我们需要按照企业的业务模式来定制企业所需要的通用架构,那我们现在需要考虑使用哪些技术呢? 下面我针对于spring cl...

itcloud
04/25
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

Memcached启动参数详解

memcached -d -m 1024 -l 192.168.100.101 -p 11211 -P /tmp/memcached.pid -c 1024 -f 1.25 -n 80 -t 16 运行参数描述 -d:以守护(daemon)进程方式启动; -u:是运行Memcache的用户,例如 ......

月下狼
20分钟前
0
0
xgboost-kaggle

https://www.kaggle.com/dansbecker/xgboost This tutorial is part of the Learn Machine Learning series. In this step, you will learn how to build and optimize models with the powe......

tantexian
21分钟前
0
0
nginx学习八 代理服务

最常用的语法 proxy_pass Syntax: proxy_pass URL;Default: --Context:location.if in location,limit_exception 反向代理 例:/etc/nginx/conf.d/default.conf 反向代理(代理服务端)......

Romanceling
28分钟前
0
0
npm ERR! Unexpected end of JSON ...

npm install 报错: npm ERR! Unexpected end of JSON input while parsing near '..."^2.8.14"},"_hasShrin' npm ERR! A complete log of this run can be found in: ... 打开终端 命令: 第......

大_侠
32分钟前
0
0
Android中的设计模式之责任链模式

参考 《设计模式:可复用面向对象软件的基础 》5.1 Chain of responsibility 职责链 对象行为型模式 《Android源码设计模式解析与实战》第9章 使编程更有灵活性--责任链模式 意图 使多个对象...

newtrek
35分钟前
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部