文档章节

Ubuntu16.04 下 Spark2.0.2+Hadoop2.7.3+Zookeeper3.4.9+HBase1.1.7集群环境搭建--5

品不懂
 品不懂
发布于 2016/12/08 14:24
字数 802
阅读 125
收藏 1

接着1上篇:https://my.oschina.net/u/988386/blog/802045

接着2上篇:https://my.oschina.net/u/988386/blog/802052

接着3上篇:https://my.oschina.net/u/988386/blog/802063

接着4上篇:https://my.oschina.net/u/988386/blog/802073

 

 

Eclipse远程调试。

环境信息 win10+eclipse neon+maven

windows下要winutils.exe文件,在hadoop-common-bin中

下载地址(不是我传的,要分和我没关系):

http://download.csdn.net/detail/speedgoddeer/9347013

  • 服务器上hbase-site.xml 文件要复制一份到eclipse的src目录。

      eclipse 调试 会出现各种 jar包版本问题,注意查看log信息。

        调试代码如下:仅供参考

import java.util.ArrayList;
import java.util.List;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.client.Result;
import org.apache.hadoop.hbase.client.Scan;
import org.apache.hadoop.hbase.io.ImmutableBytesWritable;
import org.apache.hadoop.hbase.mapreduce.TableInputFormat;
import org.apache.hadoop.hbase.protobuf.ProtobufUtil;
import org.apache.hadoop.hbase.protobuf.generated.ClientProtos;
import org.apache.hadoop.hbase.util.Base64;
import org.apache.hadoop.hbase.util.Bytes;
import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaPairRDD;
import org.apache.spark.api.java.JavaSparkContext;

public class SparkHBaseDemo {

	private static final String master = "spark://d155:7077";

	//hbase解压目录下的lib
	private static final String HBASE_PATH = "F:\\BACKUP_SOFTWARE\\hadoop\\hbase\\hbase-1.1.7\\lib\\";
	
	public static String[] sparkJars() {
		
		List<String> list = new ArrayList<String>();
		
		list.add(HBASE_PATH+"zookeeper-3.4.6.jar");
		list.add(HBASE_PATH+"hbase-common-1.1.7.jar");
		list.add(HBASE_PATH+"hbase-client-1.1.7.jar");
		list.add(HBASE_PATH+"hbase-server-1.1.7.jar");
		list.add(HBASE_PATH+"hbase-protocol-1.1.7.jar");
		list.add(HBASE_PATH+"htrace-core-3.1.0-incubating.jar");
		
		//当前程序jar
		list.add("D:\\WIBZPLACE7\\hdp\\target\\hdp-0.0.1-SNAPSHOT.jar");
		
		
		String[] array =new String[list.size()];
        list.toArray(array);
		

		return array;
	}

	public static void debug() {
		System.setProperty("hadoop.home.dir", "E:\\DEVELOP\\SOFTWARE\\hadoop-common-bin");

		SparkConf sparkConf = new SparkConf();
		sparkConf.setAppName("HBASE").setMaster(master);

		sparkConf.setJars(sparkJars());

		JavaSparkContext sc = new JavaSparkContext(sparkConf);

		Configuration conf = HBaseConfiguration.create();
		Scan scan = new Scan();
		scan.addFamily(Bytes.toBytes("liezu1"));

		try {
			String tableName = "tb_demo1";
			conf.set(TableInputFormat.INPUT_TABLE, tableName);
			ClientProtos.Scan proto = ProtobufUtil.toScan(scan);
			String ScanToString = Base64.encodeBytes(proto.toByteArray());
			conf.set(TableInputFormat.SCAN, ScanToString);

			JavaPairRDD<ImmutableBytesWritable, Result> myRDD = sc.newAPIHadoopRDD(conf, TableInputFormat.class,
					ImmutableBytesWritable.class, Result.class);

			System.out.println(myRDD.count());

		} catch (Exception ex) {
			ex.printStackTrace();
		} finally {
			sc.close();
		}

	}

	public static void main(String[] args) {
		debug();
	}
}
  • pom.xml文件
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
	xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
	<modelVersion>4.0.0</modelVersion>
	<groupId>net.ibizsys.hdp</groupId>
	<artifactId>hdp</artifactId>
	<version>0.0.1-SNAPSHOT</version>
	<repositories>
		<repository>
			<id>cloudera-repo-releases</id>
			<name>Spark-Support</name>
			<url>http://maven.aliyun.com/nexus/content/groups/public/</url>
		</repository>
	</repositories>
	<properties>
		<jackson.version>2.6.7</jackson.version>
		<scala.binary.version>2.11</scala.binary.version>
		<spark.version>2.0.2</spark.version>
		<scala.lang.version>2.11.8</scala.lang.version>
		<hadoop.version>2.7.3</hadoop.version>
		<hbase.version>1.2.4</hbase.version>
	</properties>
	<dependencies>

		<dependency>
			<groupId>io.netty</groupId>
			<artifactId>netty-all</artifactId>
			<version>4.0.29.Final</version>
		</dependency>
		<!-- <dependency> <groupId>io.netty</groupId> <artifactId>netty</artifactId> 
			</dependency> -->
		<dependency>
			<groupId>jdk.tools</groupId>
			<artifactId>jdk.tools</artifactId>
			<version>1.7</version>
			<scope>system</scope>
			<systemPath>${JAVA_HOME}/lib/tools.jar</systemPath>
		</dependency>
		<dependency>
			<groupId>org.apache.hadoop</groupId>
			<artifactId>hadoop-common</artifactId>
			<version>${hadoop.version}</version>
			<exclusions>
				<exclusion>
					<groupId>io.netty</groupId>
					<artifactId>netty-all</artifactId>
				</exclusion>
				<exclusion>
					<groupId>io.netty</groupId>
					<artifactId>netty</artifactId>
				</exclusion>
				<exclusion>
					<groupId>org.jboss.netty</groupId>
					<artifactId>netty</artifactId>
				</exclusion>
			</exclusions>
		</dependency>
		<dependency>
			<groupId>org.apache.hadoop</groupId>
			<artifactId>hadoop-client</artifactId>
			<version>${hadoop.version}</version>
			<exclusions>
				<exclusion>
					<groupId>org.jboss.netty</groupId>
					<artifactId>netty</artifactId>
				</exclusion>
				<exclusion>
					<groupId>io.netty</groupId>
					<artifactId>netty-all</artifactId>
				</exclusion>
				<exclusion>
					<groupId>io.netty</groupId>
					<artifactId>netty</artifactId>
				</exclusion>
			</exclusions>
		</dependency>
		<dependency>
			<groupId>org.apache.hadoop</groupId>
			<artifactId>hadoop-hdfs</artifactId>
			<version>${hadoop.version}</version>
			<exclusions>
				<exclusion>
					<groupId>org.jboss.netty</groupId>
					<artifactId>netty</artifactId>
				</exclusion>
				<exclusion>
					<groupId>io.netty</groupId>
					<artifactId>netty-all</artifactId>
				</exclusion>
				<exclusion>
					<groupId>io.netty</groupId>
					<artifactId>netty</artifactId>
				</exclusion>
			</exclusions>
		</dependency>
		<dependency>
			<groupId>org.apache.hadoop</groupId>
			<artifactId>hadoop-hdfs</artifactId>
			<version>${hadoop.version}</version>
			<exclusions>
				<exclusion>
					<groupId>org.jboss.netty</groupId>
					<artifactId>netty</artifactId>
				</exclusion>
				<exclusion>
					<groupId>io.netty</groupId>
					<artifactId>netty-all</artifactId>
				</exclusion>
				<exclusion>
					<groupId>io.netty</groupId>
					<artifactId>netty</artifactId>
				</exclusion>
			</exclusions>
		</dependency>
		<dependency>
			<groupId>org.apache.hadoop</groupId>
			<artifactId>hadoop-mapreduce-client-core</artifactId>
			<version>${hadoop.version}</version>
		</dependency>
		<dependency>
			<groupId>org.apache.hbase</groupId>
			<artifactId>hbase-client</artifactId>
			<version>${hbase.version}</version>
			<exclusions>
				<exclusion>
					<groupId>org.jboss.netty</groupId>
					<artifactId>netty</artifactId>
				</exclusion>
				<exclusion>
					<groupId>io.netty</groupId>
					<artifactId>netty-all</artifactId>
				</exclusion>
				<exclusion>
					<groupId>io.netty</groupId>
					<artifactId>netty</artifactId>
				</exclusion>
			</exclusions>
		</dependency>
		<dependency>
			<groupId>org.apache.hbase</groupId>
			<artifactId>hbase-common</artifactId>
			<version>${hbase.version}</version>
		</dependency>
		<dependency>
			<groupId>org.apache.hbase</groupId>
			<artifactId>hbase-server</artifactId>
			<version>${hbase.version}</version>
			<exclusions>
				<exclusion>
					<groupId>org.jboss.netty</groupId>
					<artifactId>netty</artifactId>
				</exclusion>
				<exclusion>
					<groupId>io.netty</groupId>
					<artifactId>netty-all</artifactId>
				</exclusion>
				<exclusion>
					<groupId>io.netty</groupId>
					<artifactId>netty</artifactId>
				</exclusion>
			</exclusions>
		</dependency>



		<dependency>
			<groupId>org.scala-lang</groupId>
			<artifactId>scala-library</artifactId>
			<version>${scala.lang.version}</version>
		</dependency>
		<dependency>
			<groupId>org.apache.spark</groupId>
			<artifactId>spark-core_2.11</artifactId>
			<version>2.0.2</version>
			<exclusions>
				<exclusion>
					<groupId>org.jboss.netty</groupId>
					<artifactId>netty</artifactId>
				</exclusion>
				<exclusion>
					<groupId>io.netty</groupId>
					<artifactId>netty-all</artifactId>
				</exclusion>
				<exclusion>
					<groupId>io.netty</groupId>
					<artifactId>netty</artifactId>
				</exclusion>
			</exclusions>
		</dependency>
		<dependency>
			<groupId>org.apache.spark</groupId>
			<artifactId>spark-sql_2.11</artifactId>
			<version>2.0.2</version>
			<exclusions>
				<exclusion>
					<groupId>org.jboss.netty</groupId>
					<artifactId>netty</artifactId>
				</exclusion>
				<exclusion>
					<groupId>io.netty</groupId>
					<artifactId>netty-all</artifactId>
				</exclusion>
				<exclusion>
					<groupId>io.netty</groupId>
					<artifactId>netty</artifactId>
				</exclusion>
			</exclusions>
		</dependency>
	</dependencies>
</project>

 

 

© 著作权归作者所有

共有 人打赏支持
品不懂
粉丝 2
博文 5
码字总数 2660
作品 0
闸北
程序员
图像识别——ubuntu16.04 movidius VPU NCSDK深度学习环境搭建

这篇文章本人不打算长篇累牍去写,结合以前写的文章,从软件角度去写一些点滴,伴随人工智能AI的火爆,现在图像识别算法也异常火爆,上一篇文章提到Intel movidius Myriad 2 VPU(MA2450)是一...

桐烨科技
08/06
0
0
centos7 安装kubernetes1.4(kubeadm版)

使用kubeadm快速搭建k8s集群(单master,HA 的功能仍然在开发中) NOTE: 2016/10/09 :添加release版yum源,上传rpm包,避免翻墙,补全之前未添加的镜像,完善文档 2016/11/11 :删除hub.docke...

战狐
2016/09/30
0
0
单台服务器部署 Zookeeper 伪集群服务及 kafka 消息中间件服务

在开发环境中,为减少服务器成本和提高开发效率,通常在一台测试服务器部署各种服务,使用不同的本地 IP 和不同端口号将涉及到集群的服务往往跑在一台机器上模拟集群,在这里我们称做伪集群。...

hww_面条酱
01/10
0
0
ctdb+samba+cephfs高可用

环境:两台ubuntu16.04主机或虚拟机,samba:4.3.11,ctdb:4.3.11,ceph客户端:10.2.9 ,ceph集群:10.2.3 配置前准备: 可用的ceph集群,配置了cephfs文件系统。 ceph集群mon节点ip:10.33...

zrz11
01/25
4
0
利用docker快速搭建 laravel 环境

本文使用的是laravel 环境 也可以是一个 php环境 一样的。 最终搭建是一个 :nginx 1.3 + php 7.1 + composer + php-cli (artisan) 的环境 这里是本环境的Dokcerfile源码地址:https://git...

傻梦兽
2017/12/15
0
1

没有更多内容

加载失败,请刷新页面

加载更多

docker-compose ,docker-stack

1.例子 version: "3"services: php: image: registry.cn-hangzhou.aliyuncs.com/lxepoo/apache-php5 ports: - "38080:80" networks: - my_php_mysql volum......

chenbaojun
27分钟前
1
0
SQL_Server2000示例数据库NorthWind的分析(转)

SQL_Server2000示例数据库NorthWind的分析 表名:Categories(食品类别表) 表结构: 字段名称 数据类型 长度 允许为空 CategoryID(主键) int 4 否 CategoryName nvarchar 15 否 Description ...

QQZZFT
30分钟前
1
0
laravel 5.5 Session store not set on request.

laravel 5.5 数据存入session,会出现Session store not set on request.错误。查了下laravel 5.5将session放到global middleware中,需要laravel的文件 ./app/Http/Kernel.php中的加上一句:...

MichaelShu
今天
1
0
OpenCV VideoCapture.get()参数详解

param define cv2.VideoCapture.get(0) 视频文件的当前位置(播放)以毫秒为单位 cv2.VideoCapture.get(1) 基于以0开始的被捕获或解码的帧索引 cv2.VideoCapture.get(2) 视频文件的相对位置(...

NateHuang
今天
0
0
java基础知识,小栗子

来操作一下数组.....注意带参数的变长数组的使用. package com.avatus;import java.util.Random;import java.util.Scanner;public class Main { public static void main(St...

Oh_really
今天
3
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部