文档章节

spark1.2.0版本搭建伪分布式环境

stark_summer
 stark_summer
发布于 2015/02/09 11:18
字数 421
阅读 301
收藏 6
点赞 0
评论 2

、下载scala2.11.5版本,下载地址为:http://www.scala-lang.org/download/2.11.5.html

2、安装和配置scala:

第一步:上传scala安装包 并解压



第二步 配置SCALA_HOME环境变量到bash_profile


第三步 source 使配置环境变量生效:


第四步 验证scala:


3、下载spark 1.2.0,具体下载地址:http://spark.apache.org/downloads.html

4、安装和配置spark:

第一步  解压spark:



第二步 配置SPARK_HOME环境变量:



第三步 使用source生效:



进入spark的conf目录:

第四步 修改slaves文件,首先打开该文件:



slaves修改后:


第五步 配置spark-env.sh

首先把spark-env.sh.template拷贝到spark-env.sh:


然后 打开“spark-env.sh”文件:


spark-env.sh文件修改后:


5、启动spark伪分布式帮查看信息:

第一步 先保证hadoop集群或者伪分布式启动成功,使用jps看下进程信息:


如果没有启动,进入hadoop的sbin目录执行 ./start-all.sh

第二步 启动spark:

进入spark的sbin目录下执行“start-all.sh”:


此刻 我们看到有新进程“Master” 和"Worker"

我们访问“http://master:8080/”,进如spark的web控制台页面:


从页面上可以看到一个Worker节点的信息。


我们进入spark的bin目录,使用“spark-shell”控制台:



通过访问"http://master:4040",进入spark-shell web控制台页面:



6、测试spark伪分布式:

我们使用之前上传到hdfs中的/data/test/README.txt文件进行mapreduce

取得hdfs文件:


对读取的文件进行一下操作:



使用collect命令提交并执行job:

readmeFile.collect



查看spark-shell web控制台:



states:


端口整理:

master端口是7077

master webui是8080

spark shell webui端口是4040

© 著作权归作者所有

共有 人打赏支持
stark_summer
粉丝 59
博文 75
码字总数 51050
作品 0
朝阳
CEO
加载中

评论(2)

stark_summer
stark_summer

引用来自“哈哈爱兮爱乎”的评论

79
【Spark亚太研究院-构建Spark集群-配置Hadoop伪分布模式并运行Wordcount(2)

执行文件拷贝操作 拷贝后的“input”文件夹的内容如下所示: 和我们的hadoop安装目录下的“conf”文件的内容是一样的。 现在,在我们刚刚构建的伪分布式模式下运行wordcount程序: 运行完成后...

Spark亚太研究院 ⋅ 2014/08/27 ⋅ 0

Hadoop(2015/8/19最新发行版2.7.1): 搭建一个单节点集群。官方文档翻译

根据官方文档边操作边翻译,如有谬误欢迎拍砖指正!大家一起学习。也欢迎推荐更多有用学习文档给我,谢谢! Hadoop: 搭建一个单节点集群。 Hadoop: 搭建一个单节点集群。 目的 先决条件 下载...

duty ⋅ 2015/08/19 ⋅ 0

运行Hadoop自带的wordcount单词统计程序

0.前言 前面一篇《Hadoop初体验:快速搭建Hadoop伪分布式环境》搭建了一个Hadoop的环境,现在就使用Hadoop自带的wordcount程序来做单词统计的案例。 1.使用示例程序实现单词统计 (1)wordc...

xpleaf ⋅ 2017/09/03 ⋅ 0

大数据Hadoop需要了解哪些内容?

一、Hadoop环境搭建 1. Hadoop生态环境介绍 2. Hadoop云计算中的位置和关系 3. 国内外Hadoop应用案例介绍 4. Hadoop概念、版本、历史 5. Hadoop核心组成介绍及hdfs、mapreduce体系结构 6. H...

mo默瑶 ⋅ 05/05 ⋅ 0

shell 命令操作hdfs

简介 本编文章主要讲述shell 命令操作hdfs 主要讲述几个简单常用的shell 命令 如 ls get mkdir rm put 前提需要安装hdfs 作者用的是虚拟机搭建的伪分布式环境,如果没有搭建环境的可以参考这...

u012957549 ⋅ 2017/12/13 ⋅ 0

hadoop2.6.0版本搭建伪分布式环境

由于个人需要在自己的笔记本上搭建hadoop伪分布环境,为了方便自己使用,如想看机器也看之前的一篇博客:hadoop2.6.0版本集群环境搭建 一台虚拟机,配置信息如下: 内存:1G,cpu:一个core,...

stark_summer ⋅ 2015/02/06 ⋅ 2

MAC OSX搭建hadoop伪分布式环境

Alexdevlin ⋅ 2016/10/11 ⋅ 0

Kafka开发环境搭建

如果你要利用代码来跑kafka的应用,那你最好先把官网给出的example先在单机环境和分布式环境下跑通,然后再逐步将原有的consumer、producer和broker替换成自己写的代码。所以在阅读这篇文章前...

Gaischen ⋅ 2012/12/12 ⋅ 17

Hadoop入门进阶步步高(一)-环境准备

前言 Hadoop从存储上来说,是类似于冗余磁盘阵列(RAID)的存储方式,将数据分散存储并提供以提供吞吐量,它的存储系统就是HDFS(Hadoop Distuibute Fils System);从计算上来说,它通过MapRe...

帅锅锅 ⋅ 2015/08/18 ⋅ 0

Kafka开发环境搭建(五)

如果你要利用代码来跑kafka的应用,那你最好先把官网给出的example先在单机环境和分布式环境下跑通,然后再逐步将原有的consumer、producer和broker替换成自己写的代码。所以在阅读这篇文章前...

老先生二号 ⋅ 2017/05/29 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

从零开始搭建Risc-v Rocket环境---(1)

为了搭建Rocke环境,我买了一个2T的移动硬盘,安装的ubuntu-16.04 LTS版。没有java8,gcc是5.4.0 joe@joe-Inspiron-7460:~$ java -version程序 'java' 已包含在下列软件包中: * default-...

whoisliang ⋅ 26分钟前 ⋅ 0

大数据学习路线(自己制定的,从零开始学习大数据)

大数据已经火了很久了,一直想了解它学习它结果没时间,过年后终于有时间了,了解了一些资料,结合我自己的情况,初步整理了一个学习路线,有问题的希望大神指点。 学习路线 Linux(shell,高并...

董黎明 ⋅ 32分钟前 ⋅ 0

systemd编写服务

一、开机启动 对于那些支持 Systemd 的软件,安装的时候,会自动在/usr/lib/systemd/system目录添加一个配置文件。 如果你想让该软件开机启动,就执行下面的命令(以httpd.service为例)。 ...

勇敢的飞石 ⋅ 34分钟前 ⋅ 0

mysql 基本sql

CREATE TABLE `BBB_build_info` ( `community_id` varchar(50) NOT NULL COMMENT '小区ID', `layer` int(11) NOT NULL COMMENT '地址层数', `id` int(11) NOT NULL COMMENT '地址id', `full_......

zaolonglei ⋅ 42分钟前 ⋅ 0

安装chrome的vue插件

参看文档:https://www.cnblogs.com/yulingjia/p/7904138.html

xiaoge2016 ⋅ 45分钟前 ⋅ 0

用SQL命令查看Mysql数据库大小

要想知道每个数据库的大小的话,步骤如下: 1、进入information_schema 数据库(存放了其他的数据库的信息) use information_schema; 2、查询所有数据的大小: select concat(round(sum(da...

源哥L ⋅ 今天 ⋅ 0

两个小实验简单介绍@Scope("prototype")

实验一 首先有如下代码(其中@RestController的作用相当于@Controller+@Responsebody,可忽略) @RestController//@Scope("prototype")public class TestController { @RequestMap...

kalnkaya ⋅ 今天 ⋅ 0

php-fpm的pool&php-fpm慢执行日志&open_basedir&php-fpm进程管理

12.21 php-fpm的pool pool是PHP-fpm的资源池,如果多个站点共用一个pool,则可能造成资源池中的资源耗尽,最终访问网站时出现502。 为了解决上述问题,我们可以配置多个pool,不同的站点使用...

影夜Linux ⋅ 今天 ⋅ 0

微服务 WildFly Swarm 管理

Expose Application Metrics and Information 要公开关于我们的微服务的有用信息,我们需要做的就是将监视器模块添加到我们的pom.xml中: 这将使在管理和监视功能得到实现。从监控角度来看,...

woshixin ⋅ 今天 ⋅ 0

java连接 mongo伪集群部署遇到的坑

部署mongo伪集群 #创建mongo数据存放文件地址mkdir -p /usr/local/config1/datamkdir -p /usr/local/config2/data mkdir -p /usr/local/config3/data mkdir -p /usr/local/config1/l......

努力爬坑人 ⋅ 今天 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部