文档章节

Building Spark 1.2.0 with Hadoop 2.6.0 support

LianyouCQ
 LianyouCQ
发布于 2015/02/09 15:55
字数 576
阅读 93
收藏 1


mvn package -Pyarn -Dyarn.version=2.6.0 -Phadoop-2.4 -Dhadoop.version=2.6.0 -Phive -DskipTests
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Summary:
[INFO] 
[INFO] Spark Project Parent POM ........................... SUCCESS [  5.308 s]
[INFO] Spark Project Networking ........................... SUCCESS [ 10.649 s]
[INFO] Spark Project Shuffle Streaming Service ............ SUCCESS [  7.824 s]
[INFO] Spark Project Core ................................. SUCCESS [04:49 min]
[INFO] Spark Project Bagel ................................ SUCCESS [ 28.008 s]
[INFO] Spark Project GraphX ............................... SUCCESS [01:20 min]
[INFO] Spark Project Streaming ............................ SUCCESS [01:49 min]
[INFO] Spark Project Catalyst ............................. SUCCESS [01:54 min]
[INFO] Spark Project SQL .................................. SUCCESS [02:07 min]
[INFO] Spark Project ML Library ........................... SUCCESS [02:30 min]
[INFO] Spark Project Tools ................................ SUCCESS [ 17.481 s]
[INFO] Spark Project Hive ................................. SUCCESS [01:50 min]
[INFO] Spark Project REPL ................................. SUCCESS [01:15 min]
[INFO] Spark Project YARN Parent POM ...................... SUCCESS [ 17.009 s]
[INFO] Spark Project YARN Stable API ...................... SUCCESS [02:02 min]
[INFO] Spark Project Assembly ............................. SUCCESS [01:33 min]
[INFO] Spark Project External Twitter ..................... SUCCESS [ 34.236 s]
[INFO] Spark Project External Flume Sink .................. SUCCESS [ 55.964 s]
[INFO] Spark Project External Flume ....................... SUCCESS [ 34.743 s]
[INFO] Spark Project External MQTT ........................ SUCCESS [ 32.961 s]
[INFO] Spark Project External ZeroMQ ...................... SUCCESS [ 32.377 s]
[INFO] Spark Project External Kafka ....................... SUCCESS [ 52.589 s]
[INFO] Spark Project Examples ............................. SUCCESS [03:13 min]
[INFO] Spark Project YARN Shuffle Service ................. SUCCESS [ 16.538 s]
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 30:14 min
[INFO] Finished at: 2015-02-09T03:17:36+08:00
[INFO] Final Memory: 79M/738M
[INFO] ------------------------------------------------------------------------
[hadoop@olinfa spark-1.2.0]$ sbin/start-master.sh 
starting org.apache.spark.deploy.master.Master, logging to /opt/bigdata/spark/spark-1.2.0/sbin/../logs/spark-hadoop-org.apache.spark.deploy.master.Master-1-olinfa.out
[hadoop@olinfa spark-1.2.0]$ cat /opt/bigdata/spark/spark-1.2.0/sbin/../logs/spark-hadoop-org.apache.spark.deploy.master.Master-1-olinfa.out
Spark assembly has been built with Hive, including Datanucleus jars on classpath
Spark Command: /usr/lib/jvm/java-1.7.0-openjdk-1.7.0.65.x86_64/bin/java -cp ::/opt/bigdata/spark/spark-1.2.0/sbin/../conf:/opt/bigdata/spark/spark-1.2.0/assembly/target/scala-2.10/spark-assembly-1.2.0-hadoop2.6.0.jar:/opt/bigdata/spark/spark-1.2.0/lib_managed/jars/datanucleus-core-3.2.10.jar:/opt/bigdata/spark/spark-1.2.0/lib_managed/jars/datanucleus-api-jdo-3.2.6.jar:/opt/bigdata/spark/spark-1.2.0/lib_managed/jars/datanucleus-rdbms-3.2.9.jar -XX:MaxPermSize=128m -Dspark.akka.logLifecycleEvents=true -Xms512m -Xmx512m org.apache.spark.deploy.master.Master --ip olinfa --port 7077 --webui-port 8080
========================================

Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
15/02/09 08:15:51 INFO Master: Registered signal handlers for [TERM, HUP, INT]
15/02/09 08:15:51 INFO SecurityManager: Changing view acls to: hadoop
15/02/09 08:15:51 INFO SecurityManager: Changing modify acls to: hadoop
15/02/09 08:15:51 INFO SecurityManager: SecurityManager: authentication disabled; ui acls disabled; users with view permissions: Set(hadoop); users with modify permissions: Set(hadoop)
15/02/09 08:15:52 INFO Slf4jLogger: Slf4jLogger started
15/02/09 08:15:52 INFO Remoting: Starting remoting
15/02/09 08:15:53 INFO Remoting: Remoting started; listening on addresses :[akka.tcp://sparkMaster@olinfa:7077]
15/02/09 08:15:53 INFO Remoting: Remoting now listens on addresses: [akka.tcp://sparkMaster@olinfa:7077]
15/02/09 08:15:53 INFO Utils: Successfully started service 'sparkMaster' on port 7077.
15/02/09 08:15:53 INFO Master: Starting Spark master at spark://olinfa:7077
15/02/09 08:15:53 INFO Utils: Successfully started service 'MasterUI' on port 8080.
15/02/09 08:15:53 INFO MasterWebUI: Started MasterWebUI at http://olinfa:8080
15/02/09 08:15:53 INFO Master: I have been elected leader! New state: ALIVE



© 著作权归作者所有

共有 人打赏支持
LianyouCQ

LianyouCQ

粉丝 58
博文 92
码字总数 51532
作品 0
沙坪坝
程序员
spark1.4 Windows local调试环境搭建总结

spark1.4 Windows local调试环境搭建总结 1.scala版本scala-2.10.4 官方推荐scala-2.11.7【不推荐,非sbt项目、需要后加载】 2.spark版本spark-1.4.0-bin-hadoop2.6.tgz 3.hadoop3.1版本had...

北京起航
2015/07/08
0
0
如何使用Spark SQL 的JDBC server

简介 Spark SQL provides JDBC connectivity, which is useful for connecting business intelligence (BI) tools to a Spark cluster and for sharing a cluster across multipleusers. The......

cloud-coder
2015/06/17
0
0
Hadoop2.6.0环境搭建

一、环境说明 1、机器:一台物理机 和一台虚拟机 2、linux版本:[spark@S1PA11 ~]$ cat /etc/issue Red Hat Enterprise Linux Server release 5.4 (Tikanga) 3、JDK: [spark@S1PA11 ~]$ java......

dengxin919820
06/28
0
0
搭建hadoop/spark集群环境

hadoop2.5.2的安装可以参照 http://my.oschina.net/sucre/blog/700159 jdk下载地址 http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html hadoop下载地址 ......

sucre
2014/12/25
0
0
Spark 1.4.1 Standalone 模式部署安装配置

各节点执行如下操作(或在一个节点上操作完后 scp 到其它节点): 1、 解压spark安装程序到程序目录/bigdata/soft/spark-1.4.1,约定此目录为$SPARKHOME tar –zxvf spark-1.4-bin-hadoop2.6....

山疯
2015/08/12
0
0

没有更多内容

加载失败,请刷新页面

加载更多

OSChina 周一乱弹 —— 鱼生不值得

Osc乱弹歌单(2018)请戳(这里) 【今日歌曲】 @瘟神灬念:分享新裤子的单曲《没有理想的人不伤心 (Remix版)》: 《没有理想的人不伤心 (Remix版)》- 新裤子 手机党少年们想听歌,请使劲儿戳...

小小编辑
31分钟前
15
6
arts-week10

Algorithm 905. Sort Array By Parity - LeetCode Review Who’s Afraid of the Big Bad Preloader? 一文读懂前端缓存 一个网络请求3个步骤:请求,处理,响应,而前端缓存主要在请求处响应这两步...

yysue
今天
4
0
00.编译OpenJDK-8u40的整个过程

前言 历经2天的折腾总算把OpenJDK给编译成功了,要说为啥搞这个,还得从面试说起,最近出去面试经常被问到JVM的相关东西,总感觉自己以前学的太浅薄,所以回来就打算深入学习,目标把《深入理...

凌晨一点
今天
5
1
python: 一些关于元组的碎碎念

初始化元组的时候,尤其是元组里面只有一个元素的时候,会出现一些很蛋疼的情况: def checkContentAndType(obj): print(obj) print(type(obj))if __name__=="__main__": tu...

Oh_really
昨天
6
2
jvm crash分析工具

介绍一款非常好用的jvm crash分析工具,当jvm挂掉时,会产生hs_err_pid.log。里面记录了jvm当时的运行状态以及错误信息,但是内容量比较庞大,不好分析。所以我们要借助工具来帮我们。 Cras...

xpbob
昨天
186
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部