运行Spark提供的计算圆周率的示例程序
运行Spark提供的计算圆周率的示例程序
四叶草666 发表于10个月前
运行Spark提供的计算圆周率的示例程序
  • 发表于 10个月前
  • 阅读 8
  • 收藏 0
  • 点赞 0
  • 评论 0

移动开发云端新模式探索实践 >>>   

1、启动Spark服务

        因为spark是依赖于hadoop提供的分布式文件系统的,所以在启动spark之前,先确保hadoop在正常运行。

        在hadoop正常运行的情况下,在master(也就是hadoop的namenode,spark的marster节点)上执行命令:

 cd  /usr/local/spark/spark-2.1.1-bin-hadoop2.7/sbin

 执行启动脚本

 ./start-all.sh

2、计算圆周率

这里只是简单的用local模式运行一个计算圆周率的Demo。按照下面的步骤来操作。

      第一步,进入到Spark的根目录,也就是执行下面的脚本:

cd    /usr/local/spark/spark-2.1.1-bin-hadoop2.7

第二步,调用Spark自带的计算圆周率的Demo,执行下面的命令:

 ./bin/spark-submit --class org.apache.spark.examples.SparkPi --master local examples/jars/spark-examples_2.11-2.1.1.jar

 命令执行后,spark示例程序已经开始执行

 如图: 

注意:上面只是使用了单机本地模式调用Demo,使用集群模式运行Demo,请参考该博文

http://blog.csdn.net/pucao_cug/article/details/72453382

  • 打赏
  • 点赞
  • 收藏
  • 分享
共有 人打赏支持
粉丝 0
博文 51
码字总数 50778
×
四叶草666
如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
* 金额(元)
¥1 ¥5 ¥10 ¥20 其他金额
打赏人
留言
* 支付类型
微信扫码支付
打赏金额:
已支付成功
打赏金额: