文档章节

MooseFS3.0分布式文件系统安装

lindeyi
 lindeyi
发布于 2018/05/09 18:02
字数 870
阅读 258
收藏 0

分布式文件系统网上资料很多,但大部分都是15年前的,不知道这3年这技术发展怎样,网上文章太少。

15年前一些主流的分布式文件系统有HDFS、MogileFS、FastDFS、GlusterFS、Ceph、Lustre、NFS,以及本文要说的MooseFS,其中HDFS、FastDFS我测试环境搭建过,

HDFS因为存储单元块大小限制,存储小文件事,一个块一个小文件不合适,空间浪费,nameNode节点也会容易被撑爆。合并小文件存储一个块,还需要额外代码扩展,文件结构也不直观。而且我在本地环境测试性能上也不是很好。(虚拟机)

FastDFS是国内个人开源的开源产品,挺好用的,环境搭建简单,使用api操作文件系统,底层基于socket通信,网上例子很多,可惜好几年没看到更新信息,不怎么维护。

github:https://github.com/happyfish100/fastdfs

看到资料较多的社区:http://bbs.chinaunix.net/forum-240-1.html

MooseFS 网上资料说国内使用量还是很多的,官方有社区免费版与收费版,这里主要以免费版来说。

MooseFS4种角色:Master主服务,对外提供服务,唯一的出入口,性能瓶颈所在、Metalogger日志、备份服务、Chunkserver存储服务,用来存储数据、Client客户端,mooseFS支持FUSE,可以在其他非windows机子上安装客户端,挂载master对外ip,实现本地访问分布式文件系统。

本地虚拟机只部署了3台,

mfs-master 192.168.99.111
mfs-metalogger 192.168.99.111
mfs-chunkserver-1 192.168.99.115
mfs-chunkserver-2 192.168.99.116
mfs-client-1 192.168.99.115
mfs-client-2 192.168.99.116

基础环境、用户与组

[root@localhost ~]# yum install zlib-devel -y
[root@localhost ~]# groupadd -g 1000 mfs
[root@localhost ~]# useradd -u 1000 -g mfs -s /sbin/nologin mfs

安装mooseFS yum环境

[root@localhost ~]# curl "https://ppa.moosefs.com/RPM-GPG-KEY-MooseFS" > /etc/pki/rpm-gpg/RPM-GPG-KEY-MooseFS
[root@localhost ~]# curl "http://ppa.moosefs.com/MooseFS-3-el7.repo" > /etc/yum.repos.d/MooseFS.repo

下面操作都基于本地虚拟机操作系统centos7,其他系统可以参考官网

https://moosefs.com/download/

一、安装MooseFS Master

[root@localhost ~]# yum install moosefs-master moosefs-cgi moosefs-cgiserv moosefs-cli

在 /etc/mfs 下生成了相关的配置文件(mfsexports.cfg、mfsmaster.cfg 等) 

1、更改目录权限

#chown -R mfs:mfs /var/lib/mfs 

#chown -R mfs:mfs /etc/mfs

2、启动mfsmaster服务

[root@localhost ~]# mfsmaster start

3、启动监控 (web查看地址:http://IP:9425/

[root@localhost ~]# mfscgiserv   #启动CGI监控服务

4、关闭服务

[root@localhost ~]# mfscgiserv stop #关闭监控
[root@localhost ~]# mfsmaster stop  #关闭master服务

二、安装MooseFS Metalogger:

[root@localhost ~]# yum install moosefs-metalogger

三、安装MooseFS Chunkserver:

在虚拟服务器192.168.99.115安装chunkserver,192.168.99.116一样方式安装

[root@localhost ~]# yum install moosefs-chunkserver

相关配置文件也是生成在 /etc/mfs目录下

1、修改mfschunkserver.cfg

修改MASTER_HOST为mfsmaster的IP(192.168.99.111),除非配置了hosts。

可以在/etc/hosts添加master ip映射关系

192.168.99.111 mfsmaster server1

2、修改mfshdd.cfg文件,增加挂载点:/mnt/mfschunk

# 直接加在文件末尾...
/mnt/mfschunk

3、新建/mnt/mfschunk目录并更改用户组

[root@localhost ~]# mkdir /mnt/mfschunk
[root@localhost ~]# chown -R mfs:mfs /mnt/mfschunk 

4、启动mfschunkserver服务

[root@localhost ~]# mfschunkserver start

四、安装MooseFS Client:

[root@localhost ~]# yum install moosefs-client

需要安装FUSE环境,我的是centos7系统默认有。

1、新建挂载目录

[root@localhost]# mkdir /mnt/client
[root@localhost]# chown -R mfs:mfs /mnt/client 

2、通过mfsmount挂载分布式文件目录

[root@localhost]# mfsmount /mnt/client -H 192.168.99.111

3、新建与查看目录与本地方式一致,另外一台也安装上客户端,在其中一台新增文件,其他客户端都可以看到。

 

 

© 著作权归作者所有

lindeyi
粉丝 5
博文 16
码字总数 14150
作品 0
海淀
私信 提问
分布式文件系统MooseFS

MogileFS是一种分布式文件存储系统。可支持文件自动备份的功能,提高可用性和高扩展性。MogileFS不支持对一个文件内部的随机或顺序读写,因此只适合做一部分应用,如图片服务,静态HTML服务等...

duyunlong
2013/11/06
0
0
Hypertable + Ceph 分布式文件系统

Hypertableceph分布式文件系统HDFSHadoop 我最近在研究Hypertable, Hypertable 安装分为单机安装与分布式文件系统,单击安装主要用于开发环境。生产环境一般都是采用分布式文件系统。Hyper...

netkiller-
2013/04/10
0
0
分布式文件系统之MogileFS实现

一、简介 1、分布式文件系统 分布式文件系统(Distributed File System)是指文件系统管理的物理存储资源不一定直接连接在本地节点上,而是通过计算机网络与节点相连,也就是集群文件系统,可...

斜视天花板
2014/05/11
0
0
Nginx反代Mogilefs分布式储存示例

一、分布式存储系统简介   随着信息技术不断的发展,给我们带来便利的同时,不断增加的数据量级、信息之间的连接关联越来越复杂、数据访问的并发量日益增加对I/O的要求越来越高、数据类型越...

Ala6
2018/11/04
0
0
分布式文件系统--XtreemFS

XtreemFS 是一个为互联网存储系统设计的分布式文件系统. 它允许你从任何地方安装一个 XtreemFS 卷,并提供权限管理,支持 POSIX ACLs 和扩展属性 (xattrs)。作为一个基于对象的并行文件系统,...

匿名
2008/10/30
9.3K
0

没有更多内容

加载失败,请刷新页面

加载更多

巨杉Tech | 微服务趋势下的数据库设计与应用简析

上周五(7月12日)巨杉数据库参与了由得到App主办八里庄技术沙龙活动,分享主题是关于分布式数据库架构与实战。 以下就是根据巨杉数据库现场分享的内容进行的分享实录整理。 巨杉数据库简介 ...

巨杉数据库
22分钟前
37
0
借助URLOS快速安装AliSQL

环境需求 最低硬件配置:1核CPU,1G内存(1+1)提示:如果你的应用较多,而主机节点的硬件配置较低,建议在部署节点时开通虚拟虚拟内存; 生产环境建议使用2G或以上内存; 推荐安装系统:Ubu...

躲猫猫_007
23分钟前
0
0
DM 源码阅读系列文章(九)shard DDL 与 checkpoint 机制的实现

作者:张学程 本文为 DM 源码阅读系列文章的第九篇,在 上篇文章 中我们详细介绍了 DM 对 online schema change 方案的同步支持,对 online schema change 同步方案以及实现细节等逻辑进行了...

TiDB
26分钟前
0
0
mysql指令

mysql指令 连接数据库 mysql -h 127.0.0.1 -u root -p -h : 数据库地址 -u : 用户名 -p : 密码 显示所有数据库 show databases; //显示所有数据库use XXX; //使用指定数据库show t...

xiaobai1315
29分钟前
0
0
C++STL常见面试题

1.C++ STL 之所以得到广泛的赞誉,也被很多人使用,不只是提供了像vector, string, list等方便的容器,更重要的是STL封装了许多复杂的数据结构算法和大量常用数据结构操作。vector封装数组,...

shzwork
39分钟前
0
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部