文档章节

Spark环境安装-快速

Moks角木
 Moks角木
发布于 2015/09/26 12:46
字数 139
阅读 182
收藏 1

Mac 10.10.5

  1. 下载spark:git clone git://github.com/mesos/spark.git

  2. 编译:build/sbt update compile

  3. 进入交互控制台:build/spark-shell.sh

 

官网快速启动的例子:http://spark.apache.org/docs/latest/

官方高级应用的例子:https://databricks-training.s3.amazonaws.com/index.html

 

编译成jar导入到项目中使用:

执行:build/sbt assembly  ( build/sbt clean  清理后才能重新编译)

编译成功会产生jar:spark-assembly-1.5.0-hadoop2.2.0.jar,可导入到项目中使用

[info] Assembly up to date: /Users/moks/workspace/idea/spark/spark/spark-1.5.0/assembly/target/scala-2.10/spark-assembly-1.5.0-hadoop2.2.0.jar  

© 著作权归作者所有

Moks角木
粉丝 31
博文 251
码字总数 170004
作品 0
静安
架构师
私信 提问
Hadoop CDH5 Spark部署

Spark是一个基于内存计算的开源的集群计算系统,目的是让数据分析更加快速,Spark 是一种与 Hadoop 相似的开源集群计算环境,但是两者之间还存在一些不同之处,这些有用的不同之处使 Spark ...

China_OS
2014/05/30
1K
0
Spark2.1.0之运行环境准备

学习一个工具的最好途径,就是使用它。这就好比《极品飞车》玩得好的同学,未必真的会开车,要学习车的驾驶技能,就必须用手触摸方向盘、用脚感受刹车与油门的力道。在IT领域,在深入了解一个...

beliefer
2018/05/04
0
0
centos7 安装 spark

wget http://d3kbcqa49mib13.cloudfront.net/spark-2.1.0-bin-hadoop2.6.tgz tar -zxvf spark-2.1.0-bin-hadoop2.6.tgz mkdir -p /usr/local/spark cp -r spark-2.1.0-bin-hadoop2.6 /usr/lo......

Java搬砖工程师
2018/12/26
28
0
2018年互联网大数据之大数据潮流的主先锋Spark

首先,跟大家简单说一下什么是大数据,没有百度的复杂,就是我自己总结的,有什么不对的地方,请大家指教! 1、何为大数据? 大数据就是短时间内,快速产生大量的多种多样的有价值的数据。 ...

A尚学堂Len老师
2018/08/22
0
0
1、Spark预编译版本下载安装与启动

1、下载 2、安装 3、hadoop 4、spark-shell scala> file.first() 5、Resilient Distributed Dataset 6、通过编译方式安装spark 轻量级高速集群计算。针对大规模的数据处理快速通用的引擎。比...

chenkangyao
2017/10/26
30
0

没有更多内容

加载失败,请刷新页面

加载更多

jquery底层函数-jQuery.ajaxSetup()

jQuery.ajaxSetup( options )返回: 描述: 为以后要用到的Ajax请求设置默认的值 添加的版本: 1.1jQuery.ajaxSetup( options ) options 类型: PlainObject 一个用来配置Ajax请求的"{键:值}"对,......

前端老手
29分钟前
5
0
Qt编写自定义控件56-波浪曲线

一、前言 波浪曲线控件,其实是之前一个水波进度条控件的一个核心,其实就是利用正弦曲线来生成对应的坐标进行绘制,把这个功能单独提取出来,是为了更详细的研究各种正弦余弦等拓展效果,当...

飞扬青云
35分钟前
5
0
深入理解计算机系统cp1:存储单位与编码

摘要: 理解计算机是如何存储数据的。 原文:深入理解计算机系统cp1:存储单位与编码 作者:Chor Fundebug经授权转载,版权归原作者所有。 1. 存储单位 位:即 bit,表示二进制位,要么是 0 ...

Fundebug
38分钟前
5
0
Python查询比特币实时价格

在本文中我们将学习如何使用使用coinmarketcap提供的比特币行情API,编写Python程序来获取像比特币、莱特币或以太币之类的区块链数字货币的实时行情/实时价格。 1、比特币行情API调用代码 我...

汇智网教程
今天
8
0
爬虫平台Crawlab核心原理--自动提取字段算法

⚠注意: 可配置爬虫现在仅在Python版本(v0.2.1-v0.2.4)可用,在最新版本Golang版本(v0.3.0)还暂时不可用,后续会加上,请关注近期更新 背景 实际的大型爬虫开发项目中,爬虫工程师会被要...

tikazyq
今天
6
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部