文档章节

分布式文件存储:FastDFS简单使用与原理分析

ClawHub的技术分享
 ClawHub的技术分享
发布于 2019/12/12 21:22
字数 2084
阅读 13
收藏 0


引言

FastDFS 属于分布式存储范畴,分布式文件系统 FastDFS 非常适合中小型项目,在我接手维护公司图片服务的时候开始接触到它,本篇文章目的是总结一下 FastDFS 的知识点。

用了 2 台 2 核 4G 的阿里云服务器做集群部署,具体部署步骤请参考:https://github.com/happyfish100/fastdfs/wiki

1、FastDFS 分布式文件系统概述

FastDFS 是一个轻量级的开源分布式文件系统,作者为淘宝资深架构余庆。 FastDFS 主要解决了分布式文件存储与高并发访问的问题,实现了负载均衡,适合存储图片、视频、文档等文件,而且支持存储服务器的在线扩容。

2、FastDFS 架构

FastDFS 服务端有两个角色:Tracker 与 Storage,其中 Tracker 主要做调度工作,有着负载均衡作用,Storage 负责文件存取、同步等操作。

FastDFS 系统结构:

FastDFS系统结构.png

2.1、Client

客户端访问 FastDFS 分布式存储,一般为后端应用。

2.2、Tracker

Tracker 在 FastDFS 集群中有两大作用:

  • 管理 Storage 集群,在 Storage 服务启动时,会把自己注册到 Tracker 上,并定期上报自身状态信息,包括磁盘剩余空间、文件同步状态、文件上传下载次数等统计信息。
  • Client 访问 Storage 服务之前,必须先访问 Tracker,动态获取到 Storage 服务的连接信息,有着负载均衡的作用。

2.3、Storage

Storage 是数据存储服务器,文件和 meta data 都保存在 Storage 服务器中。 有以下特点:

  • 采用高可用的方式进行数据存储。
  • FastDFS 集群中,Storage 按组(Group/volume)提供服务,不同组的 Storage 之间不会互相通信,同组内的 Storage 之间会相互连接,进行文件同步。
  • Storage 服务采用 binlog 文件记录文件上传、删除等更新操作,binlog 中只记录文件名,不记录内容。
  • 文件同步只在同组内的 Storage 服务之间进行,采用 push 方式,即圆通服务器同步给目标服务器。
  • FastDFS 将文件及相关的描述信息(MetaData)保存在 Storage 服务中,文件存储以后将返回唯一的文件标识,文件标识有组名和文件名两部分构成,MetaData 是文件的描述信息,如 width=1024,height=768。

3、文件上传原理

文件上传的原理如下图:

上传文件交互过程.jpeg

  1. Client 询问 Tracker 可以上传到哪个 Storage。
  2. Tracker 返回一台可用的 Storage 连接信息。
  3. Client 直接与 Storage 通信,完成文件上传。
  4. Storage 保存文件以后,返回 Client 文件标识(组名、文件名)。

4、文件下载原理

文件下载原理如下图:

下载文件交互过程.jpeg

  1. Client 询问 Tracker 下文文件的 Storage,参数为文件标识(组名、文件名)。
  2. Tracker 返回一台可用的 Storage。
  3. Client 与 Storage 通信,完成文件下载过程。

5、文件同步原理

  • 同一个组内的 Storage 服务是对等的,文件上传、删除等操作可以在任意一台 Storage 服务上执行,数据会在同组内 Storage 内同步。
  • 文件同步(上传、删除、更新)采用 push 方式,即源服务器同步给目标服务器。
  • 只有源头数据才需要同步,如果备份数据再次同步就会形成环路。
  • 当新增 Storage 服务时,将已有的一台 Storage 的所有数据(源头数据与备份数据)同步给这台新增服务器。

6、服务端文件目录

6.1、TrackerServer

${base_path}

|__data

|     |__storage_groups.dat:存储分组信息

|     |__storage_servers.dat:存储服务器列表

|__logs

   |__trackerd.log:tracker server日志文件

6.2、StorageServer

${base_path}

|__data

|     |__.data_init_flag:当前storage server 初始化信息

|     |__storage_stat.dat:当前storage server统计信息

|     |__sync:存放数据同步相关文件

|     |     |__binlog.index:当前的binlog文件索引号

|     |     |__binlog.###:存放更新操作记录(日志)

|     |     |__${ip_addr}_${port}.mark:存放同步的完成情况

|     |

|     |__一级目录:256个存放数据文件的目录,如:00, 1F

|           |__二级目录:256个存放数据文件的目录

|__logs

   |__storaged.log:storage server日志文件

7、服务端与客户端通讯协议

7.1、 通讯协议介绍

FastDFS 服务端与客户端通讯时候采用的是自定义的通讯协议,如下图所示:

proto.png

协议包由两部分组成:header 和 body

  • header 共 10 字节,格式如下:
    • 8 bytes body length
    • 1 byte command
    • 1 byte status
  • body 数据包格式取决于具体的命令,body 可以为空。

7.2、命令代码和通讯状态代码

7.2.1、Tracker 管理命令代码
名称 命令
删除 storage 93
获取下载节点 QUERY_FETCH_ONE 102
获取更新节点 QUERY_UPDATE 103
不按组获取存储节点 101
按组获取存储节点 104
获取组列表 91
获取存储节点列表 92
7.2.2、 Store 文件上传命令代码
名称 命令 说明
文件上传 11 一般的文件上传,上传后为主文件
上传附属文件 21 "上传从文件文件,比如主文件为 xxx.jpg,从文件(缩略图)为 xxx-150_150.jpg"
删除文件 12 删除文件
设置文件元数据 13 上传文件创建日期,标签等
文件下载 14
获取文件元数据 15
查询文件信息 22 查询文件信息
创建支持断点续传的文件 23 创建一个支持断点续传的文件
断点续传 24 上传可断点上传的文件,如将大文件切为几份,分开上传
文件修改 34 修改支持断点上传的文件
清除文件 36 截取(清除)支持断点上传的文件
7.2.3、报文通讯状态代码
名称 代码
客户端关闭连接命令 82
连接状态检查命令 111
服务端正确返回报文 100

8、简单使用

我使用的是 fastdfs-client-java-1.27-SNAPSHOT.jar happyfish100/fastdfs-client-java

这个库从 17 年 6 月 5 号之后就停止更新了,最近又开始更新代码了,看样子要维护了啊。

简单的对客户端进行了连接池的封装,方便使用。

  • 系统启动,池子管理连接
  • 心跳确认连接是否可靠
  • 构造器模式创建连接池
  • 回调方式使用客户端

源码地址:

ClawHub/FastDFS-Pool

以下为核心代码:

1.1、 初始化连接池

/**
     * Build fast dfs conn pool.
     *
     * @return the fast dfs conn pool
     */
    public FastDFSConnPool build() {
        // 初始化空闲连接池
        idleConnectionPool = new LinkedBlockingQueue<>(maxPoolSize);
        //初始化全局参数
        try {
            ClientGlobal.init(confFileName);
        } catch (IOException | MyException e) {
            throw new RuntimeException("init client global exception.", e);
        }
        // 往线程池中添加默认大小的线程
        TrackerServer trackerServer;
        for (int i = 0; i < minPoolSize; i++) {
            //获取到连接
            trackerServer = createTrackerServer();
            if (trackerServer != null) {
                //放入空闲池
                idleConnectionPool.offer(trackerServer);
            }
        }
        // 注册心跳
        new HeartBeat(this).beat();

        return this;
    }

1.2、 客户端执行请求

/**
     * 执行方式
     *
     * @param <T>    the type parameter
     * @param invoke the invoke
     * @return the t
     */
    public <T> T processFdfs(CallBack<T> invoke) {
        TrackerServer trackerServer = null;
        T t;
        try {
            //获取tracker连接
            trackerServer = fastDFSConnPool.checkOut();
            //获取storage
            StorageClient1 storageClient = new StorageClient1(trackerServer, null);
            //执行操作
            t = invoke.invoke(storageClient);
            //释放连接
            fastDFSConnPool.checkIn(trackerServer);
            return t;
        } catch (Exception e) {
            //删除链接
            fastDFSConnPool.drop(trackerServer);
            throw new RuntimeException(e);
        }
    }

1.3、 心跳

    /**
     * 心跳任务
     */
    private class HeartBeatTask implements Runnable {

        @Override
        public void run() {
            LinkedBlockingQueue<TrackerServer> idleConnectionPool = fastDFSConnPool.getIdleConnectionPool();
            TrackerServer ts = null;
            for (int i = 0; i < idleConnectionPool.size(); i++) {
                try {
                    ts = idleConnectionPool.poll(fastDFSConnPool.getWaitTimes(), TimeUnit.SECONDS);
                    if (ts != null) {
                        ProtoCommon.activeTest(ts.getSocket());
                        idleConnectionPool.add(ts);
                    } else {
                        //代表已经没有空闲长连接
                        break;
                    }
                } catch (Exception e) {
                    //发生异常,要删除,进行重建
                    logger.error("heart beat conn  have dead, and reconnect.", e);
                    fastDFSConnPool.drop(ts);
                }
            }

        }
    }

1.4、 使用方式

 //初始化连接池
        FastDFSConnPool fastDFSConnPool = new FastDFSConnPool()
                .confFileName("./config/fdfs_client.conf")
                .maxPoolSize(8)
                .minPoolSize(1)
                .reConnNum(2)
                .waitTimes(2).build();

        //使用客户端
        FastDFSClient client = new FastDFSClient(fastDFSConnPool);
        //上传  ileName 文件全路径 extName 文件扩展名,不包含(.) metas 文件扩展信息
        String parts = client.processFdfs(storageClient -> storageClient.upload_file1("fileName", "extName", new NameValuePair[0]));
        //下载 fileId: group1/M00/00/00/wKgRsVjtwpSAXGwkAAAweEAzRjw471.jpg
        byte[] bytes = client.processFdfs(storageClient -> storageClient.download_file1("fileId"));
        //删除 -1失败,0成功
        int result = client.processFdfs(storageClient -> storageClient.delete_file1("fileId"));
        //获取远程服务器文件资源信息  groupName   文件组名 如:group1  remoteFileName M00/00/00/wKgRsVjtwpSAXGwkAAAweEAzRjw471.jpg
        FileInfo fileInfo = client.processFdfs(storageClient -> storageClient.get_file_info("groupName", "remoteFileName"));

参考

FastDFS V5.12 分布式文件系统介绍

tobato/FastDFS_Client 的 wiki

tencent.jpg

© 著作权归作者所有

ClawHub的技术分享
粉丝 0
博文 45
码字总数 59760
作品 0
南京
私信 提问
分布式文件系统FastDFS原理介绍

在生产中我们一般希望文件系统能帮我们解决以下问题,如:1.超大数据存储;2.数据高可用(冗余备份);3.读/写高性能;4.海量数据计算。最好还得支持多平台多语言,支持高并发。 由于单台服务...

凯文加内特
2015/04/18
7.4K
0
CentOS 6.3(64) ---> fastdfs_v4.07 / 实现多服务器

自己闲着没事,在小黑上虚拟了 4 个 centos 64 的系统,用来安装分布式 fastdfs 、 nginx 负载均衡,过程一路艰辛,搞了一个通宵都没弄好,终于在第二天的傍晚终于弄好了,记录一下过程。 有...

shking
2013/09/29
10.9K
27
浅析FastDFS及所遇问题集锦

一、FastDFS简介 FastDFS(最新版本v3.04)是一个开源的轻量级分布式文件系统,它用纯C语言实现,支持Linux、FreeBSD、AIX等UNIX系统。它只能通过专有API对文件进行存取访问,不支持POSIX接口方...

Edwyn王
2015/11/04
441
0
FastDFS安装使用实战一(安装篇)

最近在研究负载均衡和集群,其中涉及到一个主要问题是,如何让集群中的real server共享一套文件系统。在网上查到FastDFS,国人(happy fish,感谢他的开源精神)开发的一套轻量级分布式文件系...

凯文加内特
2015/03/30
920
0
FastDFS安装 --> 测试

自己闲着没事,在小黑上虚拟了 4 个 centos 64 的系统,用来安装分布式 fastdfs 、 nginx 负载均衡,过程一路艰辛,搞了一个通宵都没弄好,终于在第二天的傍晚终于弄好了,记录一下过程。 有...

shking
2013/10/05
617
1

没有更多内容

加载失败,请刷新页面

加载更多

Numpy处理图片方法

在进行图像领域的深度学习的时候经常需要对图片进行处理,包括图像的翻转,压缩,截取等,一般都是用Numpy来处理。处理起来也很方便。 In[3] # 导入需要的包 import numpy as np import matp...

北方的郎
32分钟前
8
0
AMD集中擢升高管:从Intel挖了个高手

  1 月 17 日,AMD 官方宣布多项人事升迁、新人任命,擢升了四位高级副总裁:   AMD 同时还宣布, 聘请行业资深人士 Daniel McNamara 出任高级副总裁兼服务器业务部总经理,负责在第二代...

水果黄瓜
37分钟前
7
0
什么是泛型?

一、泛型的概念 泛型是 Java SE5 出现的新特性,泛型的本质是类型参数化或参数化类型,在不创建新的类型的情况下,通过泛型指定的不同类型来控制形参具体限制的类型。 二、泛型的意义 一般的...

hncboy
今天
10
0
dynamic-connectivity 动态连通性问题之 quick-union 算法

quick-union 的思想是:若对象 p 的 root_id 和对象 q 的 root_id 相等,则认为 p 和 q 连通。 若要将对象 p 和对象 q 连通(已知两对象未连通),则将 p 的 root_id 的值设为 q 的 root_id ...

Phpythoner_Alei
今天
51
0
OSChina 周六乱弹 —— 实在选不出来就唱国歌

Osc乱弹歌单(2020)请戳(这里) 【今日歌曲】 @花间小酌 :#今日歌曲推荐# 分享阿冗的单曲《你的答案》。--祝大家在2020年都找到自己答案。 《你的答案》- 阿冗 手机党少年们想听歌,请使劲...

小小编辑
今天
342
7

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部