Spark学习笔记-windows环境搭建
Spark学习笔记-windows环境搭建
Endless2010 发表于9个月前
Spark学习笔记-windows环境搭建
  • 发表于 9个月前
  • 阅读 4
  • 收藏 0
  • 点赞 0
  • 评论 0

【腾讯云】买域名送云解析+SSL证书+建站!>>>   

下载解压

下载地址:http://spark.apache.org/downloads.html

输入图片说明

环境配置

先装好java, scala, HDFS

输入图片说明

配置SPARK_HOME,Path

输入图片说明

启动Spark-shell

启动时出错: The root scratch dir: /tmp/hive on HDFS should be writable. Current permissions are:-------

输入图片说明

解决方案:D:\hadoop-2.7.3\bin\winutils.exe chmod 777 D:\tmp\hive 输入图片说明   winutils可以到这里下载:https://github.com/steveloughran/winutils

启动成功可以看到:

输入图片说明

编写单词计数程序

var file=sc.textFile("file:///D:/spark-2.2.0-bin-hadoop2.7/README.md")
var wordCount= file.flatMap(line=>line.split (" ")). map(word=>(word,1)).
 reduceByKey((a,b) =>a+b). collect()

输入图片说明

读取HDFS文件

var file=sc.textFile("hdfs://127.0.0.1:9000/files/README.txt")
var wordCount= file.flatMap(line=>line.split (" ")). map(word=>(word,1)). 
reduceByKey((a,b) =>a+b). collect()

输入图片说明

输入图片说明

界面查看任务

http://127.0.0.1:4040/jobs/

输入图片说明

  • 打赏
  • 点赞
  • 收藏
  • 分享
共有 人打赏支持
粉丝 1
博文 25
码字总数 23027
×
Endless2010
如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
* 金额(元)
¥1 ¥5 ¥10 ¥20 其他金额
打赏人
留言
* 支付类型
微信扫码支付
打赏金额:
已支付成功
打赏金额: