文档章节

spark伪分布式安装与测试

尼古丁诱惑的男人
 尼古丁诱惑的男人
发布于 2016/09/21 16:22
字数 410
阅读 21
收藏 1
1、下载scala2.11.5版本,下载地址为: http://www.scala-lang.org/download/2.11.5.html 2、安装和配置scala: 第一步:上传scala安装包 并解压 第二步 配置SCALA_HOME环境变量到bash_profile 第三步 source 使配置环境变量生效: 第四步 验证scala: 3、下载spark 1.2.0,具体下载地址: http://spark.apache.org/downloads.html 4、安装和配置spark: 第一步  解压spark: 第二步 配置SPARK_HOME环境变量: 第三步 使用source生效: 进入spark的conf目录: 第四步 修改slaves文件,首先打开该文件: slaves修改后: 第五步 配置spark-env.sh 首先把spark-env.sh.template拷贝到spark-env.sh: 然后 打开“spark-env.sh”文件: spark-env.sh文件修改后: 5、启动spark伪分布式帮查看信息: 第一步 先保证hadoop集群或者伪分布式启动成功,使用jps看下进程信息: 如果没有启动,进入hadoop的sbin目录执行 ./start-all.sh 第二步 启动spark: 进入spark的sbin目录下执行“start-all.sh”: 此刻 我们看到有新进程“Master” 和"Worker" 我们访问“http://master:8080/”,进如spark的web控制台页面: 从页面上可以看到一个Worker节点的信息。 我们进入spark的bin目录,使用“spark-shell”控制台: 通过访问"http://master:4040",进入spark-shell web控制台页面: 6、测试spark伪分布式: 我们使用之前上传到hdfs中的/data/test/README.txt文件进行mapreduce 取得hdfs文件: 对读取的文件进行一下操作: 使用collect命令提交并执行job: readmeFile.collect 查看spark-shell web控制台: states: 端口整理: master端口是7077 master webui是8080 spark shell webui端口是4040

本文转载自:http://www.zhangshuai.top/2015/08/27/spark%e4%bc%aa%e5%88%86%e5%b8%83%e5%bc%8f%e5%ae%89%e8%a3%85%...

尼古丁诱惑的男人
粉丝 47
博文 53
码字总数 32844
作品 0
深圳
其他
私信 提问

暂无文章

OSChina 周二乱弹 —— 女装大佬被拆穿是妹子假扮

Osc乱弹歌单(2019)请戳(这里) 【今日歌曲】 小小编辑推荐:《All of the Stars》- Ed Sheeran 《All of the Stars》- Ed Sheeran 手机党少年们想听歌,请使劲儿戳(这里) @Leon_swool ...

小小编辑
24分钟前
63
3
3. 彤哥说netty系列之Java BIO NIO AIO进化史

你好,我是彤哥,本篇是netty系列的第三篇。 欢迎来我的公从号彤哥读源码系统地学习源码&架构的知识。 简介 上一章我们介绍了IO的五种模型,实际上Java只支持其中的三种,即BIO/NIO/AIO。 本...

彤哥读源码
27分钟前
10
0
02.日志系统:一条SQL更新语句是如何执行的?

我们还是从一个表的一条更新语句说起,我们创建下面一张表: create table T(ID int primary key, c int); 如果要将ID=2这一行c的值加1,SQL可以这么写: update T set c=c+1 where ID=2; 前...

scgaopan
今天
9
0
【五分钟系列】掌握vscode调试技巧

调试前端js 准备一个前端项目 index.html <!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <meta name="viewport" content="width=device-width, initial-scale=1......

aoping
今天
8
0
PhotoShop 高级应用:USM锐化/S锐化/防抖

、 高反差锐化+混合模式:叠加模式 【将更多的边缘细节添加到图像中】

东方墨天
今天
9
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部