文档章节

集群中运行Tachyon(译)

Ryan-瑞恩
 Ryan-瑞恩
发布于 2015/10/19 17:16
字数 445
阅读 49
收藏 0

集群中运行Tachyon

单机集群

首先下载 Tachyon tar 文件,并且解压:

$ wget https://github.com/amplab/tachyon/releases/download/v0.7.1/tachyon-0.7.1-bin.tar.gz
$ tar xvfz tachyon-0.7.1-bin.tar.gz

在 tachyon/conf 目录中, 复制tachyon-env.sh.template 为 tachyon-env.sh. 确保JAVA_HOME 指向有效的 Java 6/7 安装。给tachyon/conf/workers 文件中增加所有 worker 节点的IP地址。最后,同步所有的配置信息给worker节点(译者注:这里的意思就是配置所有的Worker,并将配置好的所有文件进行同步,不过,还需要配置好ssh环境,否则后面无法正常启动)

现在,你可以启动Tachyon:

$ cd tachyon
$ ./bin/tachyon format
$ ./bin/tachyon-start.sh # use the right parameters here. e.g. all Mount

为了验证Tachyon是正常运行的,你可以访问: http://tachyon.master.hostname:19999,在tachyon/logs 目录中检查日志,或者运行一个示例程序:

$ ./bin/tachyon runTests

注意:如果你使用 EC2,确保在master节点设置安全组运行链接Tachyon web UI 端口。 If you are using EC2。

在 bin/tachyon脚本中使用bootstrap-conf 参数

tachyon 脚本还包含逻辑来创建一个基本配置的集群,如果你运行:

$ cd tachyon
$ ./bin/tachyon bootstrap-conf <tachyon_master_hostname>
这不存在  tachyon/conf/tachyon-env.sh 文件,接着,该脚本将创建一个适当的设置与 master 节点集群运行在< tachyon_master_hostname >。

这个脚本需要运行在每个节点上运行你希望的配置信息。

该脚本将配置你的worker在每个worker使用总内存的2/ 3。通过在worker 节点创建编辑 tachyon/conf/tachyon-env.sh 文件可以改变这个数量。

EC2 集群 和 Spark

如果你使用Spark 运行在 EC2集群,Tachyon将通过默认安装和配置。

© 著作权归作者所有

共有 人打赏支持
Ryan-瑞恩

Ryan-瑞恩

粉丝 152
博文 238
码字总数 184810
作品 0
西安
后端工程师
私信 提问
集群中运行Tachyon(译)

集群中运行Tachyon 单机集群 首先下载 Tachyon tar 文件,并且解压: $ wget https://github.com/amplab/tachyon/releases/download/v0.7.1/tachyon-0.7.1-bin.tar.gz$ tar xvfz tachyon-0.7......

Ryan-瑞恩
2015/10/20
56
0
整合 Tachyon 运行 Spark(译)

整合 Tachyon 运行 Spark 兼容性 如果你计划运行Spark 结合使用 Tachyon,以下版本的搭配将共同开箱即用。如果你计划使用不同版本而不是默认支持版本。请重新编译Spark 的正确版本,通过在 ...

Ryan-瑞恩
2015/10/19
595
0
整合 Tachyon 运行 Hadoop MapReduce(译)

整合 Tachyon 运行 Hadoop MapReduce 本指南描述如何使Tachyon 与 Hadoop MapReduce 结合运行,这样你可以很容易运行 hadoop MapReduce 程序文件存储在 Tachyon上。 前提 这部分额外的首要条...

Ryan-瑞恩
2015/10/20
284
0
模块部署(译)

模块部署 概述 在 Tachyon 源代码树中, 目录包含一些工具可以协助你在 AWS EC2 或 virtualbox 搭建 Tachyon集群。 In Tachyon source tree, directory contains utilities to help you set...

Ryan-瑞恩
2015/10/21
46
0
Tachyon 概述(译)

Tachyon 概述 Tachyon是一个以内存为中心的分布式存储系统,能够可靠的在跨集群框架之间以内存速度进行共享,比如 Spark 和 MapReduce。它通过利用 lineage 信息和使用内存实现了高性能,Tac...

Ryan-瑞恩
2015/10/15
82
0

没有更多内容

加载失败,请刷新页面

加载更多

IOS  学习记录

1.StackView=>IOS 9及以上支持 2.布局方式: AutoLayout / StackView 堆布局 (线性布局) 3.屏幕适配 (资源分辨率、设计分辨率、屏幕分辨率) Size Class技术 可以针对 屏幕的方向进行设置...

萨x姆
34分钟前
0
0
第四次工业革命:自主经济的崛起

https://36kr.com/p/5170370.html

shengjuntu
昨天
3
0
Cloud Native 与12-Factor

12-Factor(twelve-factor),也称为“十二要素”,是一套流行的应用程序开发原则。Cloud Native架构中使用12-Factor作为设计准则。 12-Factor 的目标在于: 使用标准化流程自动配置,从而使...

waylau
昨天
9
0
java多线程2

“非线程安全”问题存在于“实例变量”中,如果是方法内部的私有变量,则不存在线程安全问题。这是因为方法内部的变量都是私有造成的。 synchronized 获取的都是对象锁。如果多个线程访问多个...

一滴水穿石
昨天
4
0
今天的学习

1,document.location.href:获取整个url 2,str.split(' '):用字符分割字符串 3,$this->load->library(' '):引用图像处理类 4,$this->load->library(' '):引用Email类 5,特殊访问指针$th......

墨冥
昨天
5
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部