文档章节

Building Spark 1.2.0 with Hadoop 2.6.0 support

LianyouCQ
 LianyouCQ
发布于 2015/02/09 15:55
字数 576
阅读 93
收藏 1


mvn package -Pyarn -Dyarn.version=2.6.0 -Phadoop-2.4 -Dhadoop.version=2.6.0 -Phive -DskipTests
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Summary:
[INFO] 
[INFO] Spark Project Parent POM ........................... SUCCESS [  5.308 s]
[INFO] Spark Project Networking ........................... SUCCESS [ 10.649 s]
[INFO] Spark Project Shuffle Streaming Service ............ SUCCESS [  7.824 s]
[INFO] Spark Project Core ................................. SUCCESS [04:49 min]
[INFO] Spark Project Bagel ................................ SUCCESS [ 28.008 s]
[INFO] Spark Project GraphX ............................... SUCCESS [01:20 min]
[INFO] Spark Project Streaming ............................ SUCCESS [01:49 min]
[INFO] Spark Project Catalyst ............................. SUCCESS [01:54 min]
[INFO] Spark Project SQL .................................. SUCCESS [02:07 min]
[INFO] Spark Project ML Library ........................... SUCCESS [02:30 min]
[INFO] Spark Project Tools ................................ SUCCESS [ 17.481 s]
[INFO] Spark Project Hive ................................. SUCCESS [01:50 min]
[INFO] Spark Project REPL ................................. SUCCESS [01:15 min]
[INFO] Spark Project YARN Parent POM ...................... SUCCESS [ 17.009 s]
[INFO] Spark Project YARN Stable API ...................... SUCCESS [02:02 min]
[INFO] Spark Project Assembly ............................. SUCCESS [01:33 min]
[INFO] Spark Project External Twitter ..................... SUCCESS [ 34.236 s]
[INFO] Spark Project External Flume Sink .................. SUCCESS [ 55.964 s]
[INFO] Spark Project External Flume ....................... SUCCESS [ 34.743 s]
[INFO] Spark Project External MQTT ........................ SUCCESS [ 32.961 s]
[INFO] Spark Project External ZeroMQ ...................... SUCCESS [ 32.377 s]
[INFO] Spark Project External Kafka ....................... SUCCESS [ 52.589 s]
[INFO] Spark Project Examples ............................. SUCCESS [03:13 min]
[INFO] Spark Project YARN Shuffle Service ................. SUCCESS [ 16.538 s]
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 30:14 min
[INFO] Finished at: 2015-02-09T03:17:36+08:00
[INFO] Final Memory: 79M/738M
[INFO] ------------------------------------------------------------------------
[hadoop@olinfa spark-1.2.0]$ sbin/start-master.sh 
starting org.apache.spark.deploy.master.Master, logging to /opt/bigdata/spark/spark-1.2.0/sbin/../logs/spark-hadoop-org.apache.spark.deploy.master.Master-1-olinfa.out
[hadoop@olinfa spark-1.2.0]$ cat /opt/bigdata/spark/spark-1.2.0/sbin/../logs/spark-hadoop-org.apache.spark.deploy.master.Master-1-olinfa.out
Spark assembly has been built with Hive, including Datanucleus jars on classpath
Spark Command: /usr/lib/jvm/java-1.7.0-openjdk-1.7.0.65.x86_64/bin/java -cp ::/opt/bigdata/spark/spark-1.2.0/sbin/../conf:/opt/bigdata/spark/spark-1.2.0/assembly/target/scala-2.10/spark-assembly-1.2.0-hadoop2.6.0.jar:/opt/bigdata/spark/spark-1.2.0/lib_managed/jars/datanucleus-core-3.2.10.jar:/opt/bigdata/spark/spark-1.2.0/lib_managed/jars/datanucleus-api-jdo-3.2.6.jar:/opt/bigdata/spark/spark-1.2.0/lib_managed/jars/datanucleus-rdbms-3.2.9.jar -XX:MaxPermSize=128m -Dspark.akka.logLifecycleEvents=true -Xms512m -Xmx512m org.apache.spark.deploy.master.Master --ip olinfa --port 7077 --webui-port 8080
========================================

Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
15/02/09 08:15:51 INFO Master: Registered signal handlers for [TERM, HUP, INT]
15/02/09 08:15:51 INFO SecurityManager: Changing view acls to: hadoop
15/02/09 08:15:51 INFO SecurityManager: Changing modify acls to: hadoop
15/02/09 08:15:51 INFO SecurityManager: SecurityManager: authentication disabled; ui acls disabled; users with view permissions: Set(hadoop); users with modify permissions: Set(hadoop)
15/02/09 08:15:52 INFO Slf4jLogger: Slf4jLogger started
15/02/09 08:15:52 INFO Remoting: Starting remoting
15/02/09 08:15:53 INFO Remoting: Remoting started; listening on addresses :[akka.tcp://sparkMaster@olinfa:7077]
15/02/09 08:15:53 INFO Remoting: Remoting now listens on addresses: [akka.tcp://sparkMaster@olinfa:7077]
15/02/09 08:15:53 INFO Utils: Successfully started service 'sparkMaster' on port 7077.
15/02/09 08:15:53 INFO Master: Starting Spark master at spark://olinfa:7077
15/02/09 08:15:53 INFO Utils: Successfully started service 'MasterUI' on port 8080.
15/02/09 08:15:53 INFO MasterWebUI: Started MasterWebUI at http://olinfa:8080
15/02/09 08:15:53 INFO Master: I have been elected leader! New state: ALIVE



© 著作权归作者所有

共有 人打赏支持
LianyouCQ

LianyouCQ

粉丝 59
博文 92
码字总数 51532
作品 0
沙坪坝
程序员
私信 提问
spark1.4 Windows local调试环境搭建总结

spark1.4 Windows local调试环境搭建总结 1.scala版本scala-2.10.4 官方推荐scala-2.11.7【不推荐,非sbt项目、需要后加载】 2.spark版本spark-1.4.0-bin-hadoop2.6.tgz 3.hadoop3.1版本had...

北京起航
2015/07/08
0
0
如何使用Spark SQL 的JDBC server

简介 Spark SQL provides JDBC connectivity, which is useful for connecting business intelligence (BI) tools to a Spark cluster and for sharing a cluster across multipleusers. The......

cloud-coder
2015/06/17
0
0
standalone 模式安装

spark-1.6.0-cdh5.15.0 standalone 模式安装 更多资源 github: https://github.com/opensourceteams/spark-scala-maven csdn(汇总视频在线看): https://blog.csdn.net/thinktothings/articl......

thinktothings
12/02
0
0
Hadoop2.6.0环境搭建

一、环境说明 1、机器:一台物理机 和一台虚拟机 2、linux版本:[spark@S1PA11 ~]$ cat /etc/issue Red Hat Enterprise Linux Server release 5.4 (Tikanga) 3、JDK: [spark@S1PA11 ~]$ java......

dengxin919820
06/28
0
0
搭建hadoop/spark集群环境

hadoop2.5.2的安装可以参照 http://my.oschina.net/sucre/blog/700159 jdk下载地址 http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html hadoop下载地址 ......

sucre
2014/12/25
0
0

没有更多内容

加载失败,请刷新页面

加载更多

OSChina 周三乱弹 —— 有一天考拉麻麻拉肚子了

Osc乱弹歌单(2018)请戳(这里) 【今日歌曲】 @瘟神灬念 :分享周汇洋的单曲《Man Srae(曼斯拉之舞)》:美滋滋。。。。 手机党少年们想听歌,请使劲儿戳(这里) 我听了一下 赶紧关了, ...

小小编辑
56分钟前
23
4
oh-my-zsh 自定义

GitHub 地址 基于 oh-my-zsh 的自定义配置,增加了一些个人常用插件与皮肤。 采用的是 git submodule 来维护,包括 oh-my-zsh,之所以这么搞,主要是手头有多台 linux 需要维护, 每台机器、...

郁也风
今天
6
0
Docker安装踩坑:E_FAIL 0x80004005的解决

参考 菜鸟教程--Windows Docker 安装 http://www.runoob.com/docker/windows-docker-install.html 官方文档-Install Docker Toolbox on Windows https://docs.docker.com/toolbox/toolbox_in......

karma123
今天
6
0
js垃圾回收机制和引起内存泄漏的操作

JS的垃圾回收机制了解吗? Js具有自动垃圾回收机制。垃圾收集器会按照固定的时间间隔周期性的执行。 JS中最常见的垃圾回收方式是标记清除。 工作原理:是当变量进入环境时,将这个变量标记为“...

Jack088
昨天
18
0
大数据教程(10.1)倒排索引建立

前面博主介绍了sql中join功能的大数据实现,本节将继续为小伙伴们分享倒排索引的建立。 一、需求 在很多项目中,我们需要对我们的文档建立索引(如:论坛帖子);我们需要记录某个词在各个文...

em_aaron
昨天
27
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部