文档章节

Spark学习笔记-windows环境搭建

Endless2010
 Endless2010
发布于 2017/07/16 22:58
字数 161
阅读 4
收藏 0

下载解压

下载地址:http://spark.apache.org/downloads.html

输入图片说明

环境配置

先装好java, scala, HDFS

输入图片说明

配置SPARK_HOME,Path

输入图片说明

启动Spark-shell

启动时出错: The root scratch dir: /tmp/hive on HDFS should be writable. Current permissions are:-------

输入图片说明

解决方案:D:\hadoop-2.7.3\bin\winutils.exe chmod 777 D:\tmp\hive 输入图片说明   winutils可以到这里下载:https://github.com/steveloughran/winutils

启动成功可以看到:

输入图片说明

编写单词计数程序

var file=sc.textFile("file:///D:/spark-2.2.0-bin-hadoop2.7/README.md")
var wordCount= file.flatMap(line=>line.split (" ")). map(word=>(word,1)).
 reduceByKey((a,b) =>a+b). collect()

输入图片说明

读取HDFS文件

var file=sc.textFile("hdfs://127.0.0.1:9000/files/README.txt")
var wordCount= file.flatMap(line=>line.split (" ")). map(word=>(word,1)). 
reduceByKey((a,b) =>a+b). collect()

输入图片说明

输入图片说明

界面查看任务

http://127.0.0.1:4040/jobs/

输入图片说明

© 著作权归作者所有

共有 人打赏支持
Endless2010
粉丝 1
博文 36
码字总数 23027
作品 0
南京
程序员
私信 提问
windows 安装 spark 及 pycharm 调试 TopN 实例

首先声明本文搭建的环境为:windows8.1 + spark1.6.0 + python2.7 + jdk8,spark on windows 对 windows及python版本不怎么挑,但是对 spark 版本要求极其苛刻,比如 spark1.6.1 就无法运行。...

大数据之路
2012/06/28
0
0
本地windows跑Scala程序调用Spark

应用场景 spark是用scala写的一种极其强悍的计算工具,spark内存计算,提供了图计算,流式计算,机器学习,即时查询等十分方便的工具,所以利用scala来进行spark编程是十分必要的,下面简单书...

wsc449
2017/11/21
0
0
本地windows跑Python程序调用Spark

应用场景 spark是用scala写的一种极其强悍的计算工具,spark内存计算,提供了图计算,流式计算,机器学习,即时查询等十分方便的工具,当然我们也可以通过python代码,来调用实现spark计算,...

wsc449
2017/11/22
0
0
大数据学习系列之九---- Hive整合Spark和HBase以及相关测试

前言 在之前的大数据学习系列之七 ----- Hadoop+Spark+Zookeeper+HBase+Hive集群搭建 中介绍了集群的环境搭建,但是在使用hive进行数据查询的时候会非常的慢,因为hive默认使用的引擎是MapRe...

虚无境
08/24
0
0
spark1.4 Windows local调试环境搭建总结

spark1.4 Windows local调试环境搭建总结 1.scala版本scala-2.10.4 官方推荐scala-2.11.7【不推荐,非sbt项目、需要后加载】 2.spark版本spark-1.4.0-bin-hadoop2.6.tgz 3.hadoop3.1版本had...

北京起航
2015/07/08
0
0

没有更多内容

加载失败,请刷新页面

加载更多

一个本科学生对Linux的认知

一个本科学生对Linux的认知 我是一名大三的普通一本大学的软件工程的一名学生,学校开设了一些关于系统开发的课程,纸上得来终觉浅,学校的课程课时较短,想要在56个课时之内学会一些公司需要...

linuxCool
7分钟前
0
0
CentOS 安装Tomcat

Tomcat 介绍 Tomcat是Apache软件基金会(Apache Software Foundation)的Jakarta项目中的一个核心项目,由Apache、Sun和其他一些公司及个人共同开发而成。 Java 程序写的网站用tomcat+jdk来运...

野雪球
21分钟前
0
0
OSChina 周四乱弹 —— 每天都迟到是种什么样的体验

Osc乱弹歌单(2018)请戳(这里) 【今日歌曲】 @开源中国首席机器人 :《Too Good At Goodbyes (Acoustic) - Sam Smith - 单曲》 《Too Good At Goodbyes (Acoustic) - Sam Smith - 单曲》 ...

小小编辑
26分钟前
48
8
jquery通过id显示隐藏

var $div3 = $('#div3'); 显示 $div3.show(); 隐藏 $div3.hide();

yan_liu
今天
3
0
《乱世佳人》读书笔记及相关感悟3900字

《乱世佳人》读书笔记及相关感悟3900字: 之前一直听「荔枝」,后来不知怎的转向了「喜马拉雅」,一听就是三年。上班的时候听房产,买房了以后听装修,兴之所至时听旅行,分手后听亲密关系,...

原创小博客
今天
3
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部