文档章节

Building Spark 1.2.0 with Hadoop 2.6.0 support

LianyouCQ
 LianyouCQ
发布于 2015/02/09 15:55
字数 576
阅读 93
收藏 1
点赞 0
评论 0


mvn package -Pyarn -Dyarn.version=2.6.0 -Phadoop-2.4 -Dhadoop.version=2.6.0 -Phive -DskipTests
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Summary:
[INFO] 
[INFO] Spark Project Parent POM ........................... SUCCESS [  5.308 s]
[INFO] Spark Project Networking ........................... SUCCESS [ 10.649 s]
[INFO] Spark Project Shuffle Streaming Service ............ SUCCESS [  7.824 s]
[INFO] Spark Project Core ................................. SUCCESS [04:49 min]
[INFO] Spark Project Bagel ................................ SUCCESS [ 28.008 s]
[INFO] Spark Project GraphX ............................... SUCCESS [01:20 min]
[INFO] Spark Project Streaming ............................ SUCCESS [01:49 min]
[INFO] Spark Project Catalyst ............................. SUCCESS [01:54 min]
[INFO] Spark Project SQL .................................. SUCCESS [02:07 min]
[INFO] Spark Project ML Library ........................... SUCCESS [02:30 min]
[INFO] Spark Project Tools ................................ SUCCESS [ 17.481 s]
[INFO] Spark Project Hive ................................. SUCCESS [01:50 min]
[INFO] Spark Project REPL ................................. SUCCESS [01:15 min]
[INFO] Spark Project YARN Parent POM ...................... SUCCESS [ 17.009 s]
[INFO] Spark Project YARN Stable API ...................... SUCCESS [02:02 min]
[INFO] Spark Project Assembly ............................. SUCCESS [01:33 min]
[INFO] Spark Project External Twitter ..................... SUCCESS [ 34.236 s]
[INFO] Spark Project External Flume Sink .................. SUCCESS [ 55.964 s]
[INFO] Spark Project External Flume ....................... SUCCESS [ 34.743 s]
[INFO] Spark Project External MQTT ........................ SUCCESS [ 32.961 s]
[INFO] Spark Project External ZeroMQ ...................... SUCCESS [ 32.377 s]
[INFO] Spark Project External Kafka ....................... SUCCESS [ 52.589 s]
[INFO] Spark Project Examples ............................. SUCCESS [03:13 min]
[INFO] Spark Project YARN Shuffle Service ................. SUCCESS [ 16.538 s]
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 30:14 min
[INFO] Finished at: 2015-02-09T03:17:36+08:00
[INFO] Final Memory: 79M/738M
[INFO] ------------------------------------------------------------------------
[hadoop@olinfa spark-1.2.0]$ sbin/start-master.sh 
starting org.apache.spark.deploy.master.Master, logging to /opt/bigdata/spark/spark-1.2.0/sbin/../logs/spark-hadoop-org.apache.spark.deploy.master.Master-1-olinfa.out
[hadoop@olinfa spark-1.2.0]$ cat /opt/bigdata/spark/spark-1.2.0/sbin/../logs/spark-hadoop-org.apache.spark.deploy.master.Master-1-olinfa.out
Spark assembly has been built with Hive, including Datanucleus jars on classpath
Spark Command: /usr/lib/jvm/java-1.7.0-openjdk-1.7.0.65.x86_64/bin/java -cp ::/opt/bigdata/spark/spark-1.2.0/sbin/../conf:/opt/bigdata/spark/spark-1.2.0/assembly/target/scala-2.10/spark-assembly-1.2.0-hadoop2.6.0.jar:/opt/bigdata/spark/spark-1.2.0/lib_managed/jars/datanucleus-core-3.2.10.jar:/opt/bigdata/spark/spark-1.2.0/lib_managed/jars/datanucleus-api-jdo-3.2.6.jar:/opt/bigdata/spark/spark-1.2.0/lib_managed/jars/datanucleus-rdbms-3.2.9.jar -XX:MaxPermSize=128m -Dspark.akka.logLifecycleEvents=true -Xms512m -Xmx512m org.apache.spark.deploy.master.Master --ip olinfa --port 7077 --webui-port 8080
========================================

Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
15/02/09 08:15:51 INFO Master: Registered signal handlers for [TERM, HUP, INT]
15/02/09 08:15:51 INFO SecurityManager: Changing view acls to: hadoop
15/02/09 08:15:51 INFO SecurityManager: Changing modify acls to: hadoop
15/02/09 08:15:51 INFO SecurityManager: SecurityManager: authentication disabled; ui acls disabled; users with view permissions: Set(hadoop); users with modify permissions: Set(hadoop)
15/02/09 08:15:52 INFO Slf4jLogger: Slf4jLogger started
15/02/09 08:15:52 INFO Remoting: Starting remoting
15/02/09 08:15:53 INFO Remoting: Remoting started; listening on addresses :[akka.tcp://sparkMaster@olinfa:7077]
15/02/09 08:15:53 INFO Remoting: Remoting now listens on addresses: [akka.tcp://sparkMaster@olinfa:7077]
15/02/09 08:15:53 INFO Utils: Successfully started service 'sparkMaster' on port 7077.
15/02/09 08:15:53 INFO Master: Starting Spark master at spark://olinfa:7077
15/02/09 08:15:53 INFO Utils: Successfully started service 'MasterUI' on port 8080.
15/02/09 08:15:53 INFO MasterWebUI: Started MasterWebUI at http://olinfa:8080
15/02/09 08:15:53 INFO Master: I have been elected leader! New state: ALIVE



© 著作权归作者所有

共有 人打赏支持
LianyouCQ

LianyouCQ

粉丝 58
博文 89
码字总数 50784
作品 0
沙坪坝
程序员
spark1.4 Windows local调试环境搭建总结

spark1.4 Windows local调试环境搭建总结 1.scala版本scala-2.10.4 官方推荐scala-2.11.7【不推荐,非sbt项目、需要后加载】 2.spark版本spark-1.4.0-bin-hadoop2.6.tgz 3.hadoop3.1版本had...

北京起航
2015/07/08
0
0
如何使用Spark SQL 的JDBC server

简介 Spark SQL provides JDBC connectivity, which is useful for connecting business intelligence (BI) tools to a Spark cluster and for sharing a cluster across multipleusers. The......

cloud-coder
2015/06/17
0
0
Hadoop2.6.0环境搭建

一、环境说明 1、机器:一台物理机 和一台虚拟机 2、linux版本:[spark@S1PA11 ~]$ cat /etc/issue Red Hat Enterprise Linux Server release 5.4 (Tikanga) 3、JDK: [spark@S1PA11 ~]$ java......

dengxin919820
06/28
0
0
搭建hadoop/spark集群环境

hadoop2.5.2的安装可以参照 http://my.oschina.net/sucre/blog/700159 jdk下载地址 http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html hadoop下载地址 ......

sucre
2014/12/25
0
0
Spark 1.4.1 Standalone 模式部署安装配置

各节点执行如下操作(或在一个节点上操作完后 scp 到其它节点): 1、 解压spark安装程序到程序目录/bigdata/soft/spark-1.4.1,约定此目录为$SPARKHOME tar –zxvf spark-1.4-bin-hadoop2.6....

山疯
2015/08/12
0
0
windows 安装 spark 及 pycharm 调试 TopN 实例

首先声明本文搭建的环境为:windows8.1 + spark1.6.0 + python2.7 + jdk8,spark on windows 对 windows及python版本不怎么挑,但是对 spark 版本要求极其苛刻,比如 spark1.6.1 就无法运行。...

大数据之路
2012/06/28
0
0
spark1.2.0版本搭建伪分布式环境

、下载scala2.11.5版本,下载地址为:http://www.scala-lang.org/download/2.11.5.html 2、安装和配置scala: 第一步:上传scala安装包 并解压 第二步 配置SCALAHOME环境变量到bashprofile 第...

stark_summer
2015/02/09
0
2
Spark On Yarn Cluster 模式下的远程调试Spark源码(Attach模式)

Spark源码学习时,我们通常很想知道Spark-submit提交之后,Spark都做了什么,这就需要我们对Spark源码进行单步调试。另外,我们在spark on yarn模式下,尤其是yarn-cluster模式下,我们无法连...

stefan_xiepj
05/24
0
0
你不能错过的 spark 学习资源

1. 书籍,在线文档 2. 网站 3. Databricks Blog 4. 文章,博客 5. 视频

u012608836
04/12
0
0
Comprehensive Introduction to Apache Spark

Introduction Industry estimates that we are creating more than 2.5 Quintillion bytes of data every year. Think of it for a moment – 1 Qunitillion = 1 Million Billion! Can you i......

grasp_D
06/15
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

zk实战--rpc框架集群化

在看此篇内容时需要浏览下面内容 netty实战--手写rpc框架 前文功能简介以及功能扩充 利用netty来实现一个点对点的rpc调用。客户端和服务端都是靠手写地址进行socket同学的,无法1对多,也无法...

xpbob
3分钟前
0
0
springboot 发送邮件

获取授权码 添加配置 # 账号和密码spring.mail.username=aaa@qq.comspring.mail.password=bbb# 服务器地址spring.mail.host=smtp.qq.comspring.mail.properties.mail.smtp.ssl.en...

阿豪boy
3分钟前
0
0
如何使用GNU Ring?

文章名:如何使用GNU Ring? 作者:冰焰火灵X 1079092922@qq.com 文章许可:CC BY-SA 4.0 ##1. 安装 下载GNU Ring 点击左边选择你的系统版本(这里以 GNU/Linux 为例,我使用的是Mint 18.3)...

ICE冰焰火灵X
6分钟前
0
0
深入理解springMVC

什么是spring MVC Spring MVC属于SpringFrameWork的后续产品,已经融合在Spring Web Flow里面。Spring 框架提供了构建 Web 应用程序的全功能 MVC 模块。使用 Spring 可插入的 MVC 架构,从而...

Java填坑之路
12分钟前
0
0
《射雕英雄传》书摘

1. 我虽是个飘泊江湖的贫家女子,可不是低三下四、不知自爱之人。你如真心爱我,须当敬我重我。我此生决无别念,就是钢刀架颈,也决意跟定了你。将来……将来如有洞房花烛之日,自然……自能...

k91191
22分钟前
0
0
解决:modal中datePicker 选中时,会触发modal的hidden.bs.modal事件

最近项目中发现了一个bug,具体表现为选中模态框上datepicker组件上的日期时,会触发模态框的关闭事件,导致数据编辑无法正常进行。网上搜索了下,解决方法如下: $('.datepicker').on('hid...

Funcy1122
26分钟前
0
0
Redis分布式锁的正确实现方式

前言 分布式锁一般有三种实现方式: 1.数据库乐观锁 2.基于Redis的分布式锁; 3.基于Zookeeper的分布式锁。本篇博客将介绍第二种方式,基于Redis实现分布式锁。虽然网上已经有各种介绍Redis...

大海201506
今天
0
0
ClassNotFoundException: javax.el.ELManager

这个是因为tomcat7中的el-api2.2,有些版本太低,建议升级tomcat到8.0,利用el-api3.0就会解决这个问题。

无语年华
今天
0
0
Jvm堆内存的划分结构和优化,垃圾回收详解(详细解答篇)

在JVM中堆空间划分如下图所示 上图中,刻画了Java程序运行时的堆空间,可以简述成如下2条 1.JVM中堆空间可以分成三个大区,新生代、老年代、永久代 2.新生代可以划分为三个区,Eden区,两个幸...

嘻哈开发者
今天
1
0
CentOS 7.4 设置系统字符编码

1.语言变量LANG在 /etc/locale 文件中。 2.可以通过/ect/profile 来修改LC_TYPE 变量的值 添加如下代码 export LC_ALL="zh_CN.GBK" export LANG="zh_CN.GBK" 到profile文件中,变量的可以修改...

qimh
今天
1
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部