Windows 上也能玩转 Spark

原创
2015/04/03 10:29
阅读数 164

<p>写这篇博客之前有一个问题一定要明确,那就是 Windows 上其实是不可能玩转 Spark 的,之所以这么说,只是为了让想体验 Spark 的我们也能玩玩这个东西,没有分布式环境真是悲催啊。但是在Windows上面我们还是可以体验一下 Spark 的,不用搭虚拟机, 只需要三样东西。下面讲干货。</p> <p>&#160;</p> <p> *** 1、安装 JVM。**</p> <p> 1) 下载 JDK 最新版本,或者文档版本,这里下载的是 JDK8,安装到指定目录譬如:D:\java\java8</p> <p> 2) 配置系统环境变量:</p> <p>JAVA_HOME = D:\java\java8;</p> <p>PATH = %JAVA_HOME%\bin;%PATH%;</p> <p>CLASSPATH = %JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar;%JAVA_HOME%\jre\lib\rt.jar</p> <p> *** 2、安装 SCALA**</p> <p>1) 下载 SCALA 最新版,解压到指定目录 D:\java\scala-version</p> <p>2) 配置系统环境变量:</p> <p>SCALA_HOME = D:\java\scala-version;</p> <p>PATH = %SCALA_HOME%\bin;%PATH%;</p> <p> *** 3、下载 Spark的预编译版本,随便一个,进入bin目录双击:spark-shell.cmd**</p> <p>恭喜。一个Spark就跑起来了,里面的很多函数你都可以用了,不过别忘记,只能读取本地数据,和数据库的数据。分布式环境中的东西,你现在没有按照 Hadoop 环境,你啥也干不了。</p> <p>只要你安装一个预编译版本对应的 分布式环境,你也可以在那些分布式环境里面读取数据,不过这个时候建议你用 Linux,现在只是一个体验一下 Spark 的环境。</p> <p>&#160;</p> <p>Scala 语言和 R 语言真的好像,只不过R语言底层都写好了, Scala 底层都需要自己去写,写完了之后,你完全可以按照 R 一样去调用,现在已经有很多项目是完成了底层工作的东西。比如 scalaNLP,将来有一天,你会发现 Scala 真的是个好东西,Spark基于 Scala 现在又出了数据框 DataFrame,会不会将来有一天成为 分布式中的R语言,这些都是我的瞎想。</p>

展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部