文档章节

Alluxio搭建 单机和集群

P
 Pxc_春春彭
发布于 2016/08/25 15:18
字数 282
阅读 94
收藏 1
  • Alluxio安装部署

1.创建目录:

1.  mkdir /data/alluxio

2.  cd /data/alluxio

下载alluxio-1.2.0-hadoop2.6-bin.tar.gz 版本,解压在cd /data/alluxio/ 目录下

3. tar -zvxf alluxio-1.2.0-hadoop2.6-bin.tar.gz

4. cd /data/alluxio/alluxio-1.2.0

2. 初始化、启动:

初始化为本地模式:

1.  ./bin/alluxio bootstrap-conf localhost

2.  ./bin/alluxio format

启动/停止:

3.  ./bin/alluxio-start.sh local   ./bin/alluxio-start.sh all

4.  ./alluxio-stop.sh all

创建工作目录:

5.  ./bin/alluxio fs mkdir /data/

6.  ./bin/alluxio fs mkdir /data/spark/

 

集群搭建:

1、配置文件修改

alluxio/conf目录下,将alluxio-env.sh.template拷贝到alluxio-env.sh。确保JAVA_HOME指向有效的安装路径。将ALLUXIO_MASTER_ADDRESS设置为运行Alluxio Master的机器的主机名。添加所有worker节点的IP地址到alluxio/conf/workers文件。 
alluxio-env.sh添加:

export JAVA_HOME=/home/ys/java/jdk1.7.0_60
export ALLUXIO_MASTER_ADDRESS=host01 # host01作为master节点

在workers文件添加工作节点

host01
host02

2、启动

分开启动,在各自的机器上运行

在master机器上:

 ./alluxio-start.sh master

 ./alluxio-start.sh worker

在worker机器上:

 ./alluxio-start.sh worker

3、检验集群是否搭建成功

在master节点创建文件,能在worker节点看见,说明搭建成功

./alluxio fs ls /

./alluxio fs mkdir /data

 

 

© 著作权归作者所有

下一篇: Spark安装部署
P
粉丝 3
博文 54
码字总数 57364
作品 0
程序员
私信 提问
基于Alluxio的HDFS多集群统一入口的实现

  【IT168 技术】   1. 简介   随着苏宁大数据平台的规模越来越大,HDFS集群Namenode逐渐出现性能瓶颈,特别是在凌晨任务的高并发期,Namenode的RPC响应延迟较高,单次写RPC请求甚至超...

苏宁易购
2018/05/09
0
0
大数据平台搭建-hbase集群的搭建

本系列文章主要阐述大数据计算平台相关框架的搭建,包括如下内容: 虚拟服务器安装 基础环境安装 zookeeper集群的搭建 kafka集群的搭建 hadoop/hbase集群的搭建 spark集群的搭建 flink集群的...

molyeo
2018/07/25
0
0
华为拥抱开源Alluxio:内存将成重要战略平台

华为公司近日宣布将利用自家FusionStorage产品与Alluxio开源软件实现大数据分析加速;此举相信能够为令人昏昏欲睡的缓慢数据分析流程带来一股新风。 Alluxio此前曾名为Tachyon Nexus,是一家由...

hmc0316
2016/09/05
47
0
如何利用Alluxio实现数据湖方案

Gartner认为数据湖是原始数据存储实例的集合,数据分析师利用数据提炼、分析技术来洞察和探索数据价值,数据湖至少具备以下特性: 特性1:数据的集中存放管理。数据湖是存放所有所需数据的地...

架构师技术联盟
2018/11/05
0
0
Alluxio 1.1.1 发布,分布式文件系统

Alluxio 1.1.1 发布了,更新如下: ALLUXIO-2022 - Fix to prevent potential memory leak in remote read. ALLUXIO-2039 - Fix to mount a Swift directory that has not been created thro......

愚_者
2016/07/08
2.1K
5

没有更多内容

加载失败,请刷新页面

加载更多

uni app 零基础小白到项目实战

$emit 子组件传给父组件$ref 父组件操作子组件 公用模板 uni-app全局变量的几种实现方法 const websiteUrl = 'http'const now = Date.now || function() { return new Date().getTime......

达达前端小酒馆
15分钟前
4
0
Tomcat是如何实现异步Servlet的

前言 通过我之前的Tomcat系列文章,相信看我博客的同学对Tomcat应该有一个比较清晰的了解了,在前几篇博客我们讨论了Tomcat在SpringBoot框架中是如何启动的,讨论了Tomcat的内部组件是如何设...

木木匠
39分钟前
14
0
mysql中间件分享(Mysql-prxoy,Atlas,DBProxy,Amoeba,cobar,TDDL)

hello 各位小伙伴大家好,我是小栈君,这期我们分享关于mysql中间件的研究,也就是数据层的读写分离和负载均衡,希望能够在实际的应用中能够帮助到各位小伙伴。 下期我们将继续分享go语言的系...

IT干货栈
今天
10
0
OSChina 周一乱弹 —— 人生,还真是到处是意外

Osc乱弹歌单(2019)请戳(这里) 【今日歌曲】 @这次装个文艺青年吧 :#今日歌曲推荐# 分享lil peep的单曲《High School》 《High School》- lil peep 手机党少年们想听歌,请使劲儿戳(这里...

小小编辑
今天
611
10
Spring使用ThreadPoolTaskExecutor自定义线程池及实现异步调用

多线程一直是工作或面试过程中的高频知识点,今天给大家分享一下使用 ThreadPoolTaskExecutor 来自定义线程池和实现异步调用多线程。 一、ThreadPoolTaskExecutor 本文采用 Executors 的工厂...

CREATE_17
今天
12
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部