文档章节

9.Spark之集群搭建4

鞋底留个洞
 鞋底留个洞
发布于 2016/01/27 17:44
字数 552
阅读 20
收藏 0

6.运行Spark

6.1使用spark-submit

    spark-submit命令位于${SPARK_HOME}/bin目录下,用于提交spark程序。

    

    我们参照spark官网上的说明运行计算圆周率的程序,使用一下spark-sunbmit。

 执行命令:./spark-submit --class org.apache.spark.examples.SparkPi --master spark://master:7077 ../lib/spark-examples-1.6.0-hadoop2.6.0.jar 10

 我们截取了命令执行过程中的一部分关键日志信息如下图,其中说明了10个线程运行结束和最后得到的圆周率值:

 

 我们再次通过浏览器查看spark集群环境和运行的日志:

 

 

6.2使用spark-shell

 spark-shell命令位于${SPARK_HOME}/bin目录下,用于提供交互式的命令行终端。

 ${SPARK_HOME}/bin目录下执行命令:./spark-shell --master spark://master:7077

 

 在spark-shell终端中使用exit命令来退出终端。

 为了在该交互式命令行终端下测试一下,我们通过运行hadoop中常用的wordcount为例来说明。

 命令:echo "Hello Spark, Hello World" >> wordcount.txt,创建一个测试文本文件;

 命令:hdfs dfs -mkdir /input,在hdfs上创一个input目录;

 命令:hdfs dfs -put ./wordcount.txt /input,将测试文本文件上传到hdfs的input目录下;

 命令:hdfs dfs -ls /input,查看文本文件是否上传成功;

 命令:hdfs dfs -cat /input/wordcount.txt,查看文本文件内容;

 命令:hdfs dfs -mkdir /output,在hdfs上创一个output目录;

 在spark-shell命令行终端执行命令:sc.textFile("/input/wordcount.txt").flatMap(_.split(" ")).map(word => (word, 1)).reduceByKey(_ + _).map(pair => (pair._2, pair._1)).sortByKey(false).map(pair => (pair._2, pair._1)).saveAsTextFile("/output/r1"),运行由scala语言编写的wordcount示例程序;

 

 输入exit退出spark-shell命令行终端,执行命令:hdfs dfs -ls /output/r1

 

 命令:hdfs dfs -cat /output/r1/part-00000、hdfs dfs -cat /output/r1/part-00001,查看运行后的结果

 

 两个文件合并后的结果符合我们的文本文件内容。至此,我们了解了spark-shell的使用。

© 著作权归作者所有

共有 人打赏支持
鞋底留个洞
粉丝 3
博文 28
码字总数 28568
作品 0
朝阳
高级程序员
私信 提问
Spark Streaming实时流处理学习

目录 1.初识实时流处理 2.分布式日志收集框架Flume 3.分布式发布订阅消息系统Kafka 4.实战环境搭建 5.Spark Streaming入门 6.Spark Streaming核心概念与编程 7.Spark Streaming进阶与案例实战...

牦牛sheriff
09/02
0
0
服务器(4)--搭建Solr集群+搭建Zookeeper集群(上篇)

背景:上一篇文章重点介绍了一下单机版的Solr搭建过程以及中文分析器的配置,这篇文章则重点介绍一下Solr集群的搭建步骤,以及Zookeeper集群的搭建步骤。由于搭建过程比较繁琐,所以分为两篇...

u013043341
2017/05/31
0
0
(14)Spark 2.0.0 集群部署

1.引言 在前面的博客中介绍了Spark的伪分布安装,在本篇博客中将介绍一下Spark的集群部署,在本博客中Spark的调度采用Hadoop的Yarn平台,因此在安装Spark之前,需要先部署的集群,因为我在安...

LoveCarpenter
2017/12/15
0
0
基于CentOS的Hadoop和Spark分布式集群搭建过程

1. 软件版本,IP地址,修改主机名和hosts文件 (1)软件版本:CentOS 7.0;JDK 8u141;Hadoop 2.7.3;Scala 2.11.8;Spark 2.2.0。 (2)IP地址:192.168.106.128(主节点);192.168.106.1...

shengshengwang
2017/07/23
0
0
Hive从入门到实战视频教程【40讲全】

1、Hive是什么,Hive的体系结构,Hive和Hadoop的关系 2、Hive的元数据存储、Hive的数据存储、Hive和RDBMS的区别 3、JDK安装 4、Hadoop集群搭建-1 5、Hadoop集群搭建-2 6、Hadoop集群搭建-3 ...

tom先生
2014/11/26
48
0

没有更多内容

加载失败,请刷新页面

加载更多

撬动世界的支点——《引爆点》读书笔记2900字优秀范文

撬动世界的支点——《引爆点》读书笔记2900字优秀范文: 作者:挽弓如月。因为加入火种协会的读书活动,最近我连续阅读了两本论述流行的大作,格拉德威尔的《引爆点》和乔纳伯杰的《疯传》。...

原创小博客
11分钟前
0
0
《配电网自动化技术》第一章

写了配电网的组成、历程、难点、存在问题、解决方案,还是蛮好的。尤其是各地建设的系统后续又无法实用化,以及多种终端反而增加了运维工作量等,都是目前切实存在的让大家不停吐槽的内容。

max佩恩
16分钟前
0
0

中国龙-扬科
34分钟前
2
0
使用vuex的state状态对象的5种方式

vuex是一个专门为vue.js设计的状态管理模式,并且也可以使用devtools进行调试。 下面给大家来贴一下我的vuex的结构 下面是store文件夹下的state.js和index.js内容 //state.jsconst state =...

peakedness丶
38分钟前
2
0
NetCore MVC Demo

地址:http://114.116.9.72:5411

whltian
45分钟前
3
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部