文档章节

centos7下安装mogilefs文件系统

 尘土飞扬满是伤
发布于 2018/08/11 13:59
字数 1159
阅读 26
收藏 0

1.安装MySQL数据库(perl一般Linux环境都自带了,如果没有需要安装perl)

yum -y install  perl-IO-AIO  必须安装的模块,如果没有请先安装否则出错

2.安装cpanm

    wget http://xrl.us/cpanm --no-check-certificate -O /sbin/cpanm

    chmod +x /sbin/cpanm

 

3.安装各个模块

    cpanm  DBD::mysql

    cpanm  MogileFS::Server

    cpanm  MogileFS::Utils

    cpanm  MogileFS::Client

 

如果出现以下错误则需要安装下列模块

Can't locate ExtUtils/Manifest.pm in @INC (@INC contains: FatPacked::36563848=HASH(0x22deb88) /usr/local/lib64/perl5 /usr/local/share/perl5 /usr/lib64/perl5/vendor_perl /usr/share/perl5/vendor_perl /usr/lib64/perl5 /usr/share/perl5 .) at /usr/sbin/cpanm line 132.

 

yum install perl-ExtUtils-CBuilder perl-ExtUtils-MakeMaker

安装完毕后重新执行下上面各个模块的安装

 

4.创建数据库及用户

    1.连接MySQL数据库    mysql -uroot -p1234

    2.创建数据库MogileFS    

        create database MogileFS DEFAULT CHARACTER SET utf8 COLLATE utf8_bin;

    3.将MogileFS数据库的所有权限授权给mogile用户,此时会新创建用户名和密码

        grant all privileges on MogileFS.* to 'mogile'@'%' identified by 'mogile';

    4.更新权限

        flush privileges;

        如果忘记密码,用root用户进入MySQL进行修改 

            update mysql.user set password=password('mogile') where user = 'mogile';

            flush privileges;

        如果提示mogile用户localhost无法连接MySQL数据库,就重新授权

            grant all privileges on MogileFS.* to 'mogile'@'localhost' identified by 'mogile';

            flush privileges;

5.配置数据库及其他配置文件

  1. 进入默认安装的bin目录    cd /usr/local/bin

  2. 初始化    mogdbsetup --dbhost=localhost --dbname=MogileFS --dbuser=mogile --dbpass=mogile

  3. 进入目录    cd /usr/local 

  4. 创建文件夹    mkdir mogilefs

  5. 创建mogilefsd.conf文件    vi mogilefsd.conf

  6. mogilefsd.conf内容    

---------------------------------------------------

# Database connection information

db_dsn = DBI:mysql:MogileFS:host=localhost

db_user = mogile

db_pass = mogile

# IP:PORT to listen on for MogileFS client requests

listen = 0.0.0.0:7001

# Optional, if you don't define the port above.

conf_port = 7001

# Number of query workers to start by default.

query_jobs = 10

# Number of delete workers to start by default.

delete_jobs = 1

# Number of replicate workers to start by default.

replicate_jobs = 5

# Number of reaper workers to start by default.

# (you don't usually need to increase this)

reaper_jobs = 1

---------------------------------------------------------

        7.  由于mogilefsd不能用root用户启动,所有需要创建mogile用户,并用它来启动调度器

                1.    adduser mogile

                2.    su mogile

                3.    cd /usr/local/bin

                4.    ./mogilefsd -c /usr/local/mogilefs/mogilefsd.conf --daemon

        8.  查看是否启动成功    ps -ef | grep mogilefsd

        9.  存储节点配置,创建文件

                1.  cd /usr/local/mogilefs

                2.  需要切换root用户创建  vi storage.conf

                3.  文件内容如下

------------------------------------------------

maxconns = 1000

httplisten = 0.0.0.0:7500

mgmtlisten = 0.0.0.0:7501

docroot=/usr/local/mogilefs/mogilefsdata/

------------------------------------------------- 

                4.数据存放根路径在mogilefsdata中,所以需要新建文件夹,用root创建

                    4.1    cd /usr/local/mofilefs  

                    4.2    mkdir mogilefsdata

        10.启动存储,root用户启动

            cd /usr/local/bin

            mogstored -c /usr/local/mogilefs/storage.conf --daemon

        11.检查mogstored是否启动成功

            ps -ef | grep mogstored

 

备注:1.停止mogilefsd,使用命令   pkill mogilefsd

          2.停止mogstored,,使用命令    pkill mogstored

 

12.创建设备(device),一个存储节点可以有多个设备。每个设备都要指定一个唯一的ID,名称是$docroot/dev$id    

                      cd  /usr/local/mogilefs/mogilefsdata

                      mkdir dev1

                      mkdir dev2

                      mkdir dev3

13.域(domain)是对所有存储空间进行的逻辑划分,可以有多个域,用来存放不同的 文件。

    存放到MogileFS的文件必须有一个key,这个key在一个域中是不能重复的。

14.类(class),类是用来控制复制份数的,在一个域中可以有多个类。

 

15.将Storage添加到Tracker上,名称可以自己取,这里叫s1

    cd /usr/local/bin

    mogadm --trackers=192.168.1.5:7001 host add s1 --ip=192.168.1.5 --port=7500 --status=alive

 16.查看存储节点列表    mogadm host list

 

 17.将Device添加到Storage上

    查看设备列表   mogadm device list

    添加设备dev1  mogadm device add s1 1

    添加设备dev2  mogadm device add s1 2

 

18.添加域(domain)    mogadm domain add d1

     查看域列表    mogadm domain list

 

19在domain中创建class,d1是domain的名称 c1 是class的名称

    mogadm class add d1 c1 --mindevcount=3

    查看class的列表    mogadm class list

 

20.查看整个系统    mogadm --trackers=192.168.1.5:7001 check

 

备注:如果设备大小显示failure则检查之前创建的3个文件夹dev1 dev2 dev3,可能文件夹不存在了,需要重新创建。

上传文件

    方法一(过时,不建议):mogtool inject test.txt k1 --trackers=192.168.1.5:7001 --domain=d1 --class=c1

    方法二:mogupload --trackers=192.168.1.5:7001 --domain=d1 --key=k2 --file=test.txt

下载文件

    方法一:mogtool extract k1 test1.txt --trackers=192.168.1.5:7001 --domain=d1 --class=c1

    方法二:mogfetch --trackers=192.168.1.5:7001 --domain=d1 --key=k1 --file=test1.txt

查看文件信息

mogfileinfo --trackers=192.168.1.5:7001 --domain=d1 --key=k1

列出所有的key值

moglistkeys --trackers=192.168.1.5:7001 --domain=d1

查看分布式文件存储的状态

mogstats --config=/usr/local/mogilefs/mogilefsd.conf

© 著作权归作者所有

粉丝 0
博文 14
码字总数 7597
作品 0
朝阳
私信 提问
Nginx反代Mogilefs分布式储存示例

一、分布式存储系统简介   随着信息技术不断的发展,给我们带来便利的同时,不断增加的数据量级、信息之间的连接关联越来越复杂、数据访问的并发量日益增加对I/O的要求越来越高、数据类型越...

Ala6
2018/11/04
0
0
MogileFS-2.44 安装与配置

MogileFS-2.44 安装与配置 一、MogileFS 介绍< xmlnamespace prefix ="o" /> MogileFS 是一个开源的分布式文件系统,用于组建分布式文件集群,由 LiveJournal 旗下 Danga Interactive 公司开......

youyu2299
2013/12/07
0
0
MogileFS学习笔记(1)

MogileFS ------ MogileFS 服务请求处理流程 用户浏览器发送"GET/foo"请求到负载均衡服务器 请求分配到应用服务器(perl,php,ruby等) 应用请求MogileFS的Tracker(mogilefsd进程)获取文件位置(...

kisay
2014/02/13
0
1
分布式存储MogileFS介绍

MogileFS介绍 MogileFS 是一个开源的分布式文件存储系统,由LiveJournal旗下的Danga Interactive公司开发。 Danga团队开发了包括 Memcached、MogileFS、Perlbal 等多个知名的开源项目。 目前...

cstsncv
2018/04/13
0
0
mogileFS 分布式存储-安装手记

环境是centos 呃,装个玩意儿走了好多弯路,以为依赖太多的包河模块,搞了很久. 后来发现其实安装可以简化的,yum没有mogilefs,可以通过epel来安装. 第一种安装方法,用epel # rpm -Uvh http://do...

晨曦之光
2012/03/09
368
0

没有更多内容

加载失败,请刷新页面

加载更多

3分钟看懂Activity启动流程

背景介绍 从事开发到了一定阶段,想要提高就必须搞明白系统的一些工作原理。为什么?因为只有明白了这些,你才能针对平台的特性写出优质的代码。当遇到棘手的问题时,你才能更快速的结合系统...

天王盖地虎626
36分钟前
1
0
机器学习算法GPU版本安装配置

##XGBoost for GPU安装https://blog.csdn.net/weixin_30963287/article/details/79145107https://blog.csdn.net/wl2858623940/article/details/80546140https://blog.csdn.net/u01164186......

KYO4321
39分钟前
1
0
微软展开训练AI来推Windows 10 1903版自动更新

Windows 10 May 2019(1903版)正式释出将近一个月,或许已经有用户自主安装更新了,不过微软认为还不够多。微软表示将开始训练机器学习(machine learning)技术,帮助1803版本以前的PC更新...

yisy5566
今天
0
0
前后端分离-前端搭建(Vue)(2)

先安装node.js以及npm 现在基本的node.js都包含有npm,下载安装后, 可以在cmd命令里输入 node -v 和npm -v 分别查看安装的版本 两个都显示了版本就是安装ok 这次我们使用JetBrains WebStor...

咸鱼-李y
今天
0
0
好程序员web前端教程分享三大前端框架相关问题

  好程序员web前端教程分享三大前端框架相关问题,三大前端框架,有没有哪个框架的组件间交互像js的方法传值一样简单? 首先框架组件通信是为了方便组件模块之间进行数据交互的,因为框架的...

好程序员IT
今天
0
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部