文档章节

FastDFS分布式文件系统

HI曲奇饼干
 HI曲奇饼干
发布于 2016/07/11 01:43
字数 1110
阅读 439
收藏 5

FastDFS简介

•FastDFS是一个轻量级的开源分布式文件系统

•FastDFS主要解决了大容量的文件存储和高并发访问的问题,文件存取时实现了负载均衡

•FastDFS实现了软件方式的RAID,可以使用廉价的IDE硬盘进行存储

•支持存储服务器在线扩容

•支持相同内容的文件只保存一份,节约磁盘空间

•FastDFS只能通过ClientAPI访问,不支持POSIX访问方式

•FastDFS特别适合大中型网站使用,用来存储资源文件(如:图片、文档、音频、视频等等)
系统架构-架构图
图片
系统架构-上传文件流程图
图片

• 1. client询问tracker上传到的storage,不需要附加参数;

• 2. tracker返回一台可用的storage;

• 3. client直接和storage通讯完成文件上传。 
系统架构-下载文件流程图
图片

• 1. client询问tracker下载文件的storage,参数为文件标识(组名和文件名);

• 2. tracker返回一台可用的storage;

• 3. client直接和storage通讯完成文件下载。
相关术语

• Tracker Server:跟踪服务器,主要做调度工作,在访问上起负载均衡的作用。记录storage server的状态,是连接Client和Storageserver的枢纽。

• Storage Server:存储服务器,文件和meta data都保存到存储服务器上

• group:组,也可称为卷。同组内服务器上的文件是完全相同的

• 文件标识:包括两部分:组名和文件名(包含路径)

• meta data:文件相关属性,键值对(Key Value Pair)方式,如:width=1024,heigth=768
同步机制

•同一组内的storageserver之间是对等的,文件上传、删除等操作可以在任意一台storage server上进行;

•文件同步只在同组内的storage server之间进行,采用push方式,即源服务器同步给目标服务器;

•源头数据才需要同步,备份数据不需要再次同步,否则就构成环路了;

•上述第二条规则有个例外,就是新增加一台storage server时,由已有的一台storageserver将已有的所有数据(包括源头数据和备份数据)同步给该新增服务器。
通信协议

• 协议包由两部分组成:header和body

• header共10字节,格式如下:

– 8 bytes body length

– 1 byte command

– 1 byte status

• body数据包格式由取决于具体的命令,body可以为空
运行时目录结构-tracker server

•  ${base_path}
    |__data
    |     |__storage_groups.dat:存储分组信息
    |    |__storage_servers.dat:存储服务器列表
    |__logs

          |__trackerd.log:trackerserver日志文件
运行时目录结构-storage server

•  ${base_path}
    |__data
    |     |__.data_init_flag:当前storageserver初始化信息
    |    |__storage_stat.dat:当前storage server统计信息
    |    |__sync:存放数据同步相关文件
    |    |     |__binlog.index:当前的binlog文件索引号
    |    |     |__binlog.###:存放更新操作记录(日志)
    |    |     |__${ip_addr}_${port}.mark:存放同步的完成情况
    |    |
    |     |__一级目录:256个存放数据文件的目录,如:00, 1F
   |           |__二级目录:256个存放数据文件的目录
    |__logs

          |__storaged.log:storageserver日志文件
安装和运行

•#step 1. download FastDFS source package and unpack it,

•# if you use HTTP to download file, please downloadlibevent 1.4.x and install it

•tar xzf FastDFS_v1.x.tar.gz

•#for example:

•tar xzf FastDFS_v1.20.tar.gz

•#step 2. enter the FastDFS dir

•cd FastDFS

•#step 3. if HTTP supported, modify make.sh, uncommentthe line:

•# WITH_HTTPD=1, then execute:

•./make.sh

•#step 4. make install

•./make.sh install

•#step 5. edit/modify the config file of tracker andstorage

•#step 6. run server programs

•#start the tracker server:

•/usr/local/bin/fdfs_trackerd<tracker_conf_filename>

•#start the storage server:

•/usr/local/bin/fdfs_storaged<storage_conf_filename>
FastDFS和集中存储方式对比

指标

FastDFS

NFS

集中存储设备

如NetApp、NAS

线性扩容性

文件高并发访问性能

一般

文件访问方式

专有API

POSIX

支持POSIX

硬件成本

较低

中等

相同内容文件只保存一份

支持

不支持

不支持

• FastDFS中文:http://www.csource.org/

• FastDFS英文:http://code.google.com/p/fastdfs/ 


官网资料,分享给大家学习 

核心技术:Maven,Springmvc mybatis shiro, Druid,Restful, Dubbo, ZooKeeper,Redis,FastDFS,ActiveMQ,Nginx 
1.     项目核心代码结构截图

分布式框架介绍 - kafkaee - kafkaee的博客

  项目模块依赖

分布式框架介绍 - kafkaee - kafkaee的博客

特别提醒:开发人员在开发的时候可以将自己的业务REST服务化或者Dubbo服务化

2.    项目依赖介绍

   2.1 后台管理系统、Rest服务系统、Scheculer定时调度系统依赖如下图:

 

分布式框架介绍 - kafkaee - kafkaee的博客

      2.2 Dubbo独立服务项目依赖如下图:

 

分布式框架介绍 - kafkaee - kafkaee的博客

3.  项目功能部分截图:

分布式框架介绍 - kafkaee - kafkaee的博客

 

分布式框架介绍 - kafkaee - kafkaee的博客

 

分布式框架介绍 - kafkaee - kafkaee的博客

 

分布式框架介绍 - kafkaee - kafkaee的博客

 

分布式框架介绍 - kafkaee - kafkaee的博客

 

分布式框架介绍 - kafkaee - kafkaee的博客

 

分布式框架介绍 - kafkaee - kafkaee的博客
 

zookeeper、dubbo服务启动

分布式框架介绍 - kafkaee - kafkaee的博客

 

分布式框架介绍 - kafkaee - kafkaee的博客
 

dubbo管控台

分布式框架介绍 - kafkaee - kafkaee的博客

 

分布式框架介绍 - kafkaee - kafkaee的博客

 

分布式框架介绍 - kafkaee - kafkaee的博客

 

分布式框架介绍 - kafkaee - kafkaee的博客

 

分布式框架介绍 - kafkaee - kafkaee的博客

 

分布式框架介绍 - kafkaee - kafkaee的博客

 

分布式框架介绍 - kafkaee - kafkaee的博客

 REST服务平台

分布式框架介绍 - kafkaee - kafkaee的博客

 

分布式框架介绍 - kafkaee - kafkaee的博客

 

分布式框架介绍 - kafkaee - kafkaee的博客

 

分布式框架介绍 - kafkaee - kafkaee的博客

 

© 著作权归作者所有

HI曲奇饼干
粉丝 110
博文 38
码字总数 91160
作品 0
深圳
架构师
私信 提问
加载中

评论(1)

HI曲奇饼干
HI曲奇饼干
很经典
FastDFS安装使用实战一(安装篇)

最近在研究负载均衡和集群,其中涉及到一个主要问题是,如何让集群中的real server共享一套文件系统。在网上查到FastDFS,国人(happy fish,感谢他的开源精神)开发的一套轻量级分布式文件系...

凯文加内特
2015/03/30
0
0
使用FastDFS搭建图片服务器(单实例)

FastDFS是一款类Google FS的开源分布式文件系统,它用纯C语言实现,支持Linux、FreeBSD、AIX等UNIX系统。它只能通过 专有API对文件进行存取访问,不支持POSIX接口方式,不能mount使用。准确地...

haoyuehong
2018/09/12
0
0
CentOS 6.3(64) ---> fastdfs_v4.07 / 实现多服务器

自己闲着没事,在小黑上虚拟了 4 个 centos 64 的系统,用来安装分布式 fastdfs 、 nginx 负载均衡,过程一路艰辛,搞了一个通宵都没弄好,终于在第二天的傍晚终于弄好了,记录一下过程。 有...

shking
2013/09/29
0
27
FastDFS服务器集群部署和集成客户端到SpringBoot

FastDFS是一个开源的轻量级分布式文件系统,它对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题,同时也能做到在集群环...

maoqitian
2018/11/01
0
0
FastDFS分布式文件系统的安装及配置

分布式文件系统(Distributed File System)是指文件系统管理的物理存储资源不一定直接连接在本地节点上,而是通过计算机网络与节点相连。分布式文件系统的设计基于客户机/服务器模式。一个典...

Edwyn王
2015/11/04
0
0

没有更多内容

加载失败,请刷新页面

加载更多

《生活的难题》的读后感3600字范文

《生活的难题》的读后感3600字范文: 假如我们对丑的事物也能够像对待美的事物那般抱持一种开放、接纳的心态,拥有相同的感受力,那么我们便会发现它们都是充满意义的,而这种认识会使生活变...

原创小博客
15分钟前
1
0
Linux learn(四)

7. Linux磁盘与文件系统管理 文件系统通常会将数据放在不同的区块,权限与属性放置到inode中,至于实际数据则放到datab lock区块中,另外,还有一个超级区块(superblock)会记录整个文件系统...

lazy~
22分钟前
1
0
微信公众号开发(四)

微信公众号开发时常需要一个用户授权绑定的过程。关于微信公众号的用户绑定,一般有如下两种实现方式: (1)通过发送短信验证码的方式; (2)使用用户登录时,向后端传递openid的方式。 使...

织梦之魂
今天
3
0
设计模式-工厂模式

工厂模式 工厂模式(Factory Pattern)是 Java 中最常用的设计模式之一。这种类型的设计模式属于创建型模式,它提供了一种创建对象的最佳方式。 在工厂模式中,我们在创建对象时不会对客户端...

HOT_POT
今天
8
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部