文档章节

100.Spark本地版-安装使用

片刻
 片刻
发布于 2016/04/22 15:20
字数 356
阅读 48
收藏 0

参考地址:http://www.linuxidc.com/Linux/2014-09/106714.htm

1.安装过程

安装:Java/Scala
下载:Spark-1.4.1-bin-hadoop2.6

直接进入spark的根目录

$ ./bin/spark-shell

> val lines = sc.textFile("/Users/jiangzl/Desktop/README.md")
> lines.count()
> lines.first()
> val scLines = lines.filter(line => line.contains("sc"))
> scLines.collect()

2.SparkDemo测试

目录结构 $ tree .

├── simple.sbt
├── src
│   └── main
│       └── scala
│           └── example.scala

$ cat simple.sbt

name := "Simple Project"
version := "1.0"
scalaVersion := "2.11.7"
libraryDependencies += "org.apache.spark" %% "spark-core" % "1.4.1"

$ cat src/main/scala/example.scala

import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._

object example {
  def main(args: Array[String]) {
  val conf = new SparkConf().setMaster("local").setAppName("My App")
  val sc = new SparkContext(conf)
  sc.stop()
  //System.exit(0)
  //sys.exit()
  println("this system exit ok!!!")
  }
}

$ sbt package

[info] Set current project to Simple Project (in build file:/Users/jiangzl/Desktop/test/)
[info] Updating {file:/Users/jiangzl/Desktop/test/}test...
[info] Resolving jline#jline;2.12.1 ...
[info] downloading https://jcenter.bintray.com/asm/asm/3.1/asm-3.1.jar ...
[info]  [SUCCESSFUL ] asm#asm;3.1!asm.jar (1968ms)
[info] downloading https://jcenter.bintray.com/org/codehaus/jackson/jackson-jaxrs/1.8.3/jackson-jaxrs-1.8.3.jar ...
[info]  [SUCCESSFUL ] org.codehaus.jackson#jackson-jaxrs;1.8.3!jackson-jaxrs.jar (1563ms)
[info] downloading https://jcenter.bintray.com/org/codehaus/jackson/jackson-xc/1.8.3/jackson-xc-1.8.3.jar ...
[info]  [SUCCESSFUL ] org.codehaus.jackson#jackson-xc;1.8.3!jackson-xc.jar (3959ms)
[info] Done updating.
[info] Compiling 1 Scala source to /Users/jiangzl/Desktop/test/target/scala-2.11/classes...
[info] 'compiler-interface' not yet compiled for Scala 2.11.7. Compiling...
[info]   Compilation completed in 20.389 s
[info] Packaging /Users/jiangzl/Desktop/test/target/scala-2.11/simple-project_2.11-1.0.jar ...
[info] Done packaging.
[success] Total time: 103 s, completed 2016-4-22 15:01:21

$ tree -L 2 target

target
├── resolution-cache
│   ├── reports
│   └── simple-project
├── scala-2.11
│   ├── classes
│   └── simple-project_2.11-1.0.jar
└── streams
    ├── $global
    └── compile

$ ./bin/spark-submit --class "example" ~/Desktop/test/target/scala-2.11/simple-project_2.11-1.0.jar

说明确实成功执行了!(安装java/Scala请自己百度一下;如果是sbt打包的问题,这个只有慢慢下载,要怪只能怪我们国家牛逼的网管叻)

© 著作权归作者所有

片刻
粉丝 106
博文 269
码字总数 306754
作品 0
海淀
高级程序员
私信 提问
NPM基础使用

NPM npm是javascript的包管理器,能解决NodeJS部署上的很多问题,本文对npm的基本命令做一些记录及介绍。 原文链接 npm是随node一起安装的,node下载地址。 npm特点: 可以从npm服务器上下载...

bestvist
2017/12/19
0
0
NPM

官方网站,package.json guide: https://docs.npmjs.com/files/package.json ===== 以下转自; http://www.runoob.com/nodejs/nodejs-npm.html NPM 使用介绍 NPM是随同NodeJS一起安装的包管......

Faye_Cai
2016/09/22
19
0
VisualSVN Server+Axure RP8协同产品设计

一、安装VisualSVN Server服务端(windows版) VisualSVN Server的服务端下载地址如下,标准版免费,企业版收费,这里以标准版安装 http://www.visualsvn.com/server/download/ 安装完成后,...

newthink
2016/11/17
0
0
第二章 docker的多种系统安装

社区版 和 企业版的选择。 社区版又有不同的版本号。 1.x直到1.13 变成年份+月份的规划。 17.09版本,一个季度发布一个版本。 docker支持mac windows win10 云平台,aws Microsoft Azure Goo...

天涯明月笙
2018/07/11
0
0
免费MongoDB GUI工具 - Mongo Management Studio

Mongo Management Studio是一个用于数据库管理的免费MongoDB GUI工具。它轻巧,界面清晰,易于开发基于MongoDB的项目。它使用nodeJs,Electron框架,MongoDB和AngularJs开发。MMS与MongoDB 3...

匿名
05/06
545
0

没有更多内容

加载失败,请刷新页面

加载更多

面向对象编程

1、类和对象 类是对象的蓝图和模板,而对象是实例;即对象是具体的实例,类是一个抽象的模板 当我们把一大堆拥有共同特征的对象的静态特征(属性)和动态特征(行为)都抽取出来后,就可以定...

huijue
今天
9
0
redis异常解决 :idea启动本地redis出现 jedis.exceptions.JedisDataException: NOAUTH Authentication required

第一次安装在本地redis服务,试试跑项目,结果却出现nested exception is redis.clients.jedis.exceptions.JedisDataException: NOAUTH Authentication required错误,真是让人头疼 先检查一...

青慕
今天
20
0
Spring 之 IoC 源码分析 (基于注解方式)

一、 IoC 理论 IoC 全称为 Inversion of Control,翻译为 “控制反转”,它还有一个别名为 DI(Dependency Injection),即依赖注入。 二、IoC方式 Spring为IoC提供了2种方式,一种是基于xml...

星爵22
今天
28
0
Docker安装PostgresSql

Docker安装PostgresSql 拉取docker镜像 # docker pull postgres:10.1010.10: Pulling from library/postgres9fc222b64b0a: Pull complete 38296355136d: Pull complete 2809e135bbdb: Pu......

Tree
今天
11
0
内容垂直居中

方法一: 采用上下 padding 形式,将内容放置在垂直居中 .line { padding: 2% 0; text-align: center; height: 5px;} <div class="line"> 内容垂直居中</div> 方法二: 采......

低至一折起
今天
22
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部