文档章节

从零开始学习Spark--第4章 Spark的各种运行方式

brian_2017
 brian_2017
发布于 2017/01/17 09:38
字数 380
阅读 6
收藏 0
1. 启动Hadoop
    cd /home/brian/usr/hadoop/hadoop-1.1.2
    #格式化NameNode
    ./bin/hadoop namenode -format
    #启动集群
    ./bin/start-all
    #将README.txt文件复制到HDFS以供测试
    ./bin/hadoop fs -put README.txt readme.txt


2. Spark在本地运行,单线程
2.1 启动:
    cd /home/brian/setup/spark-new/spark-0.8.0
    MASTER=local ./spark-shell
2.2 测试,执行如下命令:
    #从HDFS上读取文件
    val textFile = sc.textFile("readme.txt")
    #计算readme.txt的行数
    textFile.count()
    #取textFile的第一行
    textFile.first()


3. Spark在本地运行,4线程
    启动时候,执行的是
    MASTER=local[4] ./spark-shell
    其他所有流程都不变。


4. Spark运行在Standalone Mode
    4.1 关闭Hadoop
    4.2 启动节点:
        #更改目录
        cd/home/brian/setup/spark-new/spark-0.8.0
#启动master
./bin/start-master.sh
    4.3 启动时候,回提示输出的log文件,tail一下,可以看到Ui Web的地址,是http://brian-i3.local:8080/,在这里能看到spark的URL:spark://brian-i3:7077。
    4.4 启动一个worker:
        ./spark-class org.apache.spark.deploy.worker.Worker spark://brian-i3:7077
        启动之后,在http://brian-i3.local:8080/会看到这个worker的数据。
    4.5 在集群上执行spark-shell
MASTER=spark://brian-i3:7077 ./spark-shell
        这时候,在http://brian-i3.local:8080/的Running Application栏看到spark-shell。
    4.5 执行一个简单命令:
        val bcv = sc.broadcast(Array(1,2,3))
        bcv.value
    4.6 关闭spark-shell:执行^+c即可。
    4.7 关闭Spark集群:./bin/stop-master.sh


5. 以脚本的方式启动Spark集群
    5.1 在spark安装目录的conf/spark-env.sh里添加如下一行:
    JAVA_HOME=/usr/local/lib/jdk1.7.0_45   
    5.2 启动Spark集群:
        ./bin/start-all.sh
    5.3 在http://localhost:8080可以看到集群的启动状况。


6. Spark运行在YARN和Mesos。  

© 著作权归作者所有

brian_2017
粉丝 3
博文 61
码字总数 145216
作品 0
私信 提问
我的第一本著作:Spark技术内幕上市!

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/anzhsoft2008/article/details/48594363 现在各大网站销售中! 京东:http://item.jd.com/11770787.html 当当...

anzhsoft
2015/09/20
0
0
【Spark亚太研究院系列丛书】Spark实战高手之路-第3章Spark架构设计与编程模型第1节②

三、你为什么需要Spark; 你需要Spark的十大理由: 1,Spark是可以革命Hadoop的目前唯一替代者,能够做Hadoop做的一切事情,同时速度比Hadoop快了100倍以上: Logistic regression in Hadoo...

Spark亚太研究院
2014/12/16
423
2
【互动问答分享】第10期决胜云计算大数据时代Spark亚太研究院公益大讲堂

“决胜云计算大数据时代” Spark亚太研究院100期公益大讲堂 【第10期互动问答分享】 Q1:Spark on Yarn的运行方式是什么? Spark on Yarn的运行方式有两种:Client和Cluster模式 Client模式如...

Spark亚太研究院
2014/09/04
252
0
从零开始,手把手教会你5分钟用SPARK对PM2.5数据进行分析(包括环境准备和SPARK代码)

要从零开始,五分钟做完一个基于SPARK的PM2.5分析项目,你是不是会问 1. PM2.5的数据在哪里? 2. SPARK的环境哪儿有? 3. 程序怎么编? 不用急,跟着我做,5分钟就可以从零开始完成所有的事情...

lindylin
2015/05/09
1K
1
Spark2.1.0之剖析spark-shell

通过在spark-shell中执行word count的过程,让读者了解到可以使用spark-shell提交Spark作业。现在读者应该很想知道spark-shell究竟做了什么呢? 脚本分析 在Spark安装目录的bin文件夹下可以找...

beliefer
2018/04/20
0
0

没有更多内容

加载失败,请刷新页面

加载更多

OpenStack 简介和几种安装方式总结

OpenStack :是一个由NASA和Rackspace合作研发并发起的,以Apache许可证授权的自由软件和开放源代码项目。项目目标是提供实施简单、可大规模扩展、丰富、标准统一的云计算管理平台。OpenSta...

小海bug
昨天
6
0
DDD(五)

1、引言 之前学习了解了DDD中实体这一概念,那么接下来需要了解的就是值对象、唯一标识。值对象,值就是数字1、2、3,字符串“1”,“2”,“3”,值时对象的特征,对象是一个事物的具体描述...

MrYuZixian
昨天
6
0
数据库中间件MyCat

什么是MyCat? 查看官网的介绍是这样说的 一个彻底开源的,面向企业应用开发的大数据库集群 支持事务、ACID、可以替代MySQL的加强版数据库 一个可以视为MySQL集群的企业级数据库,用来替代昂贵...

沉浮_
昨天
7
0
解决Mac下VSCode打开zsh乱码

1.乱码问题 iTerm2终端使用Zsh,并且配置Zsh主题,该主题主题需要安装字体来支持箭头效果,在iTerm2中设置这个字体,但是VSCode里这个箭头还是显示乱码。 iTerm2展示如下: VSCode展示如下: 2...

HelloDeveloper
昨天
9
0
常用物流快递单号查询接口种类及对接方法

目前快递查询接口有两种方式可以对接,一是和顺丰、圆通、中通、天天、韵达、德邦这些快递公司一一对接接口,二是和快递鸟这样第三方集成接口一次性对接多家常用快递。第一种耗费时间长,但是...

程序的小猿
昨天
11
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部