文档章节

shark安装

泡海椒
 泡海椒
发布于 2016/05/03 20:56
字数 176
阅读 19
收藏 0

spark0.9.1安装
解压缩
修改目录用户权限,用户hadoop登录
修改配置文件
//slaves
hadoop1
hadoop2
hadoop3

//spark-env.sh
export SPARK_MASTER_IP=hadoop1
export SPARK_MASTER_PORT=7077
export SPARK_WORKER_CORES=1
export SPARK_WORKER_INSTANCES=1
export SPARK_WORKER_MEMORY=3g

scp到个节点

****************************************************
****************************************************
shark安装
源码下载,解压缩
源码编译
SHARK_HADOOP_VERSION=2.2.0 SHARK_YARN=true sbt/sbt assembly
修改配置文件
//shark-env.sh
export SPARK_MEM=2g

# (Required) Set the master program's memory
export SHARK_MASTER_MEM=1g

# (Optional) Specify the location of Hive's configuration directory. By default,
# Shark run scripts will point it to $SHARK_HOME/conf
export HIVE_CONF_DIR="/app/hadoop/hive013/conf"

# For running Shark in distributed mode, set the following:
export HADOOP_HOME="/app/hadoop/hadoop220"
export SPARK_HOME="/app/hadoop/spark091"
export MASTER="spark://hadoop1:7077"

scp到个节点

****************************************************
****************************************************
启动hive metasotre service
nohup bin/hive --service metastore > metastore.log 2>&1 &

启动shark
bin/shark


./bin/shark –service sharkserver <port>
./bin/shark -h <server-host> -p <server-port>




© 著作权归作者所有

上一篇: shark演示
下一篇: idea演示
泡海椒
粉丝 11
博文 282
码字总数 288344
作品 0
成都
程序员
私信 提问
整合 Tachyon 运行Shark(译)

整合 Tachyon 运行Shark 前提是已经有 Shark ,我们也假设你已经安装了 Tachyon 和 Hadoop 根据 Local Mode or Cluster Mode。 Shark 0.7 增加了一个新的存储格式支持从 Tachyon 高效率读取数...

Ryan-瑞恩
2015/10/20
33
0
Shark 0.2 发布,数据仓库系统

Shark 0.2是Shark的一个正式发布版本,自从原来的0.1版本原型发布,新的版本带来了新的特征,性能提升和稳定性 主要变更如下: Hive兼容性 Shark现在和Hive 0.9兼容,引入了很多新的特性,在...

AndyYehoo
2012/10/22
1K
0
CMDBuild-2.4.3 for CentOS 7安装配置

由于公司不断扩大,服务器数量日益增多,服务器管理由原来的Excel表格管理问题不断增加。近日公司Boss想找一款开源的CMDB管理系统,对比了腾讯的蓝鲸和CMDBuild,决定使用CMDBuild。下面我们...

王洪斌
2017/07/13
0
0
mac安装autojump

安装zsh:sh -c "$(curl -fsSL https://raw.github.com/robbyrussell/oh-my-zsh/master/tools/install.sh)" 将zsh设置成默认的shell:chsh -s /bin/zsh (重启shell) echo $SHELL可以查看用的......

littledew
2016/12/12
90
0
工作流引擎--Enhydra Shark

匿名
2008/09/10
8K
0

没有更多内容

加载失败,请刷新页面

加载更多

NIO基于长度域的报文在Netty下的解码

1, 先复习一下粘包/拆包 1.1, 粘包/拆包的含义 TCP是个“流”协议, 并不了解上层业务数据的具体含义, 它会根据TCP缓冲区的实际情况进行包的划分,所以在业务上认为,一个完整的包可能会被TCP...

老菜鸟0217
今天
8
0
从零开始搭建spring-cloud(2) ----ribbon

在微服务架构中,业务都会被拆分成一个独立的服务,服务与服务的通讯是基于http restful的。Spring cloud有两种服务调用方式,一种是ribbon+restTemplate,另一种是feign。 其实我们已经在上...

Vincent-Duan
今天
19
0
get和post的区别?

doGet:路径传参。效率高,安全性差(get的传送数据量有限制,不能大于2Kb) doPOST:实体传参。效率低,安全性好 建议: 1、get方式的安全性较Post方式要差些,包含机密信息的话,建议用Pos...

花无谢
昨天
4
0
当谈论迭代器时,我谈些什么?

当谈论迭代器时,我谈些什么? 花下猫语:之前说过,我对于编程语言跟其它学科的融合非常感兴趣,但我还说漏了一点,就是我对于 Python 跟其它编程语言的对比学习,也很感兴趣。所以,我一直...

豌豆花下猫
昨天
14
0
10天学Python直接做项目,我做了这5件事

初学者如何尽快上手python? 市面上关于如何学python的资料很多,但是讲的都太复杂。 我就是很简单的几句话,从小白到开发工程师,我只做了五件事。 我觉得任何商业计划书如果不能用几句话讲...

Python派森
昨天
7
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部