加载中
SparkStreaming整合kafka编程

1、下载spark-streaming-kafka插件包 由于Linux集群环境我使用spark是spark-2.1.1-bin-hadoop2.7,kafka是kafka_2.11-0.8.2.1,所以我下载的是spark-streaming-kafka-0-8_2.11-2.1.1.jar。 ...

2017/07/19 10:09
36
基于Java+SparkStreaming整合kafka编程

一、下载依赖jar包 具体可以参考:SparkStreaming整合kafka编程 二、创建Java工程 太简单,略。 三、实际例子 spark的安装包里面有好多例子,具体路径:spark-2.1.1-bin-hadoop2.7\examples。...

2017/07/19 10:07
124
运行Spark提供的计算圆周率的示例程序

1、启动Spark服务 因为spark是依赖于hadoop提供的分布式文件系统的,所以在启动spark之前,先确保hadoop在正常运行。 在hadoop正常运行的情况下,在master(也就是hadoop的namenode,spark的...

scala IDE for Eclipse开发Spark程序

1、开发环境准备 scala IDE for Eclipse:版本(4.6.1) 官网下载:http://scala-ide.org/download/sdk.html 百度云盘下载:链接:http://pan.baidu.com/s/1c2NAZdA 密码:au8t scala-2.11.8...

2017/07/19 10:03
82
本地开发spark代码上传spark集群服务并运行

打包 :右击、export、Java 、jar File 把TestSpark.jar包上传到spark集群服务器的 spark_home下的myApp下: 提交spark任务:   cd /usr/local/spark/spark-2.1.1-bin-hadoop2.7 bin/spark-...

Spark任务提交jar包依赖解决方案

转载自:http://blog.csdn.net/wzq294328238/article/details/48054525 通常我们将Spark任务编写后打包成jar包,使用spark-submit进行提交,因为spark是分布式任务,如果运行机器上没有对应的...

2017/07/19 09:52
108
RedHat6.5安装Spark集群

版本号: RedHat6.5 RHEL 6.5系统安装配置图解教程(rhel-server-6.5) JDK1.8 http://blog.csdn.net/chongxin1/article/details/68957808 Hadoop2.7.3 RedHat6.5上安装Hadoop集群 scala-2.11...

2017/07/19 09:47
4
RedHat6.5安装Spark单机

版本号: RedHat6.5 RHEL 6.5系统安装配置图解教程(rhel-server-6.5) JDK1.8 http://blog.csdn.net/chongxin1/article/details/68957808 Hadoop2.7.3 RedHat6.5上安装Hadoop单机 scala-2.11...

2017/07/19 09:38
15

没有更多内容

加载失败,请刷新页面

没有更多内容

返回顶部
顶部