文档章节

FastDFS常见问题

舒运
 舒运
发布于 2017/06/16 09:51
字数 2331
阅读 14
收藏 0
点赞 0
评论 0

1. FastDFS适用的场景以及不适用的场景?

 

FastDFS是为互联网应用量身定做的一套分布式文件存储系统,非常适合用来存储用户图片、视频、文档等文件。对于互联网应用,和其他分布式文件系统相比,优势非常明显。具体情况大家可以看相关的介绍文档,包括FastDFS介绍PPT等等。
出于简洁考虑,FastDFS没有对文件做分块存储,因此不太适合分布式计算场景。

 

2. FastDFS需要的编译和运行环境是怎样的?

 

FastDFS Server仅支持unix系统,在Linux和FreeBSD测试通过。在Solaris系统下网络通信方面有些问题。
编译需要的其他库文件有pthread,V5.0以前的版本依赖libevent;V5.0以后,不再依赖libevent。
v5.04开始依赖libfastcommon,github地址:https://github.com/happyfish100/libfastcommon
v5版本从v5.05开始才是稳定版本,请使用v5版本的同学尽快升级到v5.05或更新的版本,建议升级到v5.08。
pthread使用系统自带的即可。
对libevent的版本要求为1.4.x,建议使用最新的stable版本,如1.4.14b。
注意,千万不要使用libevent 2.0非stable版本。
测试了一下,libevent 2.0.10是可以正常工作的。
在64位系统下,可能需要自己在/usr/lib64下创建libevent.so的符号链接。比如:
ln -s /usr/lib/libevent.so /usr/lib64/libevent.so
在ubuntu 11及后续版本,可能会出现找不到动态库pthread库,解决方法参见:http://bbs.chinaunix.net/thread-2324388-1-2.html
若出现libfastcommon版本不匹配问题,请执行如下命令:/bin/rm -rf /usr/local/lib/libfastcommon.so /usr/local/include/fastcommon

 

3. 有人在生产环境中使用FastDFS吗?

 

答案是肯定的。据我所知,截止2012年底至少有25家公司在使用FastDFS,其中有好几家是做网盘的公司。
其中存储量最大的一家,集群中存储group数有400个,存储服务器超过800台,存储容量达到6PB,文件数超过1亿,Group持续增长中。。。
以下是使用FastDFS的用户列表:
  某大型网盘(因对方要求对公司名保密,就不提供名字了。有400个group,存储容量达到了6PB,文件数超过1亿)  
  UC (http://www.uc.cn/,存储容量超过10TB)
  支付宝(http://www.alipay.com/
  京东商城(http://www.360buy.com/
  淘淘搜(http://www.taotaosou.com/
  飞信(http://feixin.1008**/
  赶集网(http://www.ganji.com/
  淘米网(http://www.61.com/
  迅雷(http://www.xunlei.com/
  蚂蜂窝(http://www.mafengwo.cn/
  丫丫网(http://www.iyaya.com/
  虹网(http://3g.ahong.com
  5173(http://www.5173.com/
  华夏原创网(http://www.yuanchuang.com/
  华师京城教育云平台(http://www.hsjdy.com.cn/
  视友网(http://www.cuctv.com/
  搜道网(http://www.sodao.com/
  58同城(http://www.58.com/
  商务联盟网(http://www.biz72.com/
  中青网(http://www.youth.cn/
  缤丽网 (http://www.binliy.com/
  飞视云视频(http://www.freeovp.com/
  梦芭莎(http://www.moonbasa.com/
  活动帮(www.eventsboom.com
  51CTO(http://www.51cto.com/
  搜房网(http://www.soufun.com/

 

4、如何让server进程退出运行?


直接kill即可让server进程正常退出,可以使用killall命令,例如:
killall fdfs_trackerd
killall fdfs_storaged
也可以使用如下命令:
/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf stop
/usr/bin/fdfs_storaged /etc/fdfs/storage.conf stop
千万不要使用-9参数强杀,否则可能会导致binlog数据丢失的问题。

 

5、如何重启server进程?


直接使用:
/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf restart
/usr/bin/fdfs_storaged /etc/fdfs/storage.conf restart

 

6、跨运营商通信异常问题


比如电信和网通机房相互通信,可能会存在异常,有两种表现:
  1)不能建立连接,这个比较直接,肯定是网络连接的问题
  2)可以正常建立连接,但接收和发送数据失败,这个问题比较隐蔽,正常网络环境下,不应该出现此类问题。
       还有人碰到过从一个方向建立连接可以正常通信,但从另外一个方向就不能正常通信的情况。
解决办法:
  尝试将服务端口改小,建议将端口修改为1024以下。比如将storage服务端口由23000修改为873等,也可以试试修改为8080
  如果问题还不能解决,请联系你的网络(机房)服务商。

 

7、fdfs_test和fdfs_test1是做什么用的?


   这两个是FastDFS自带的测试程序,会对一个文件上传两次,分别作为主文件和从文件。返回的文件ID也是两个。
   并且会上传文件附加属性,storage server上会生成4个文件。
   这两个程序仅用于测试目的,请不要用作实际用途。
   V2.05提供了比较正式的三个小工具:
      上传文件:/usr/bin/fdfs_upload_file  <config_file> <local_filename>
      下载文件:/usr/bin/fdfs_download_file <config_file> <file_id> [local_filename]
       删除文件:/usr/bin/fdfs_delete_file <config_file> <file_id>

 

8、什么是主从文件?


主从文件是指文件ID有关联的文件,一个主文件可以对应多个从文件。
    主文件ID = 主文件名 + 主文件扩展名
    从文件ID = 主文件名 + 从文件后缀名 + 从文件扩展名
使用主从文件的一个典型例子:以图片为例,主文件为原始图片,从文件为该图片的一张或多张缩略图。
FastDFS中的主从文件只是在文件ID上有联系。FastDFS server端没有记录主从文件对应关系,因此删除主文件,FastDFS不会自动删除从文件。
删除主文件后,从文件的级联删除,需要由应用端来实现。
主文件及其从文件均存放到同一个group中。
主从文件的生成顺序:
  1)先上传主文件(如原文件),得到主文件ID
  2)然后上传从文件(如缩略图),指定主文件ID和从文件后缀名(当然还可以同时指定从文件扩展名),得到从文件ID。

 

9、如何删除无效的storage server?

 

可以使用fdfs_monitor来删除。命令行如下:
/usr/bin/fdfs_monitor <config_filename> delete <group_name> <storage_id>
例如:
/usr/bin/fdfs_monitor /etc/fdfs/client.conf delete group1 192.168.0.100
注意:如果被删除的storage server的状态是ACTIVE,也就是该storage server还在线上服务的情况下,是无法删除掉的。
         storage_id参数:如果使用默认的ip方式,填写storage server IP地址,否则使用对应的server id。

 

10、FastDFS扩展模块升级到V1.06及以上版本的注意事项


apache和nginx扩展模块版本v1.06及以上版本,需要在配置文件/etc/fdfs/fastdfs_mod.conf中设置storage server的存储路径信息。
一个示例如下所示:
store_path_count=1
store_path0=/home/yuqing/fastdfs
store_path_count和store_path#均需要正确设置,必须和storage.conf中的相应配置完全一致,否则将导致文件不能正确下载!

 

11、nginx和apache扩展模块与FastDFS server版本对应关系


    扩展模块1.05:  针对FastDFs server v2.x,要求server版本大于等于v2.09
    扩展模块1.07及以上版本:  针对FastDFs server v3.x
    具体的版本匹配情况,参阅扩展模块源码下的HISTORY文件

 

12、上传文件失败,返回错误码28,这是怎么回事?


  返回错误码28,表示磁盘空间不足。注意FastDFS中有预留空间的概念,在tracker.conf中设置,配置项为:reserved_storage_space,缺省值为4GB,即预留4GB的空间。
  请酌情设置reserved_storage_space这个参数,比如可以设置为磁盘总空间的20%左右。

 

13、上传文件失败,返回错误码28,这是怎么回事?


  返回错误码28,表示磁盘空间不足。注意FastDFS中有预留空间的概念,在tracker.conf中设置,配置项为:reserved_storage_space,缺省值为4GB,即预留4GB的空间。
  请酌情设置reserved_storage_space这个参数,比如可以设置为磁盘总空间的20%左右。

 

14、fdfs_trackerd或者fdfs_storaged的日志中出现:malloc task buff failed字样的错误,这是怎么回事?


  出现此类信息表示已经达到最大连接数。server端支持的最大连接数可以通过max_connections这个参数来设置。
  出现这样的问题,需要排查一下是否客户端使用不当导致的,比如客户端没有及时关闭无用的连接。

 

15、FastDFS的文件ID中可以反解出哪些字段?


文件ID中除了包含group name和存储路径外,文件名中可以反解出如下几个字段:
  1)文件创建时间(unix时间戳,32位整数)
  2)文件大小
  3)上传到的源storage server IP地址(32位整数)
  4)文件crc32校验码
  5)随机数(这个字段用来避免文件重名)

 

16、为什么生成的token验证无法通过?


  出现这样的问题,请进行如下两项检查:
  1)确认调用token生成函数,传递的文件ID中没有包含group name。传递的文件ID格式形如:M00/00/1B/wKgnVE84utyOG9hEAAATz5-S0SI99.Java
  2)确认服务器时间基本是一致的,注意服务器时间不能相差太多,不要相差到分钟级别。

 

17、最新程序包的下载地址是什么?


   因google code不支持上传程序包,最新的程序包可以在sourceforge上下载,下载地址:https://sourceforge.net/projects/fastdfs/files/

 

18、FastDFS支持断点续传吗?


   可以支持。先上传appender类型的文件,然后使用apend函数。

© 著作权归作者所有

共有 人打赏支持
舒运
粉丝 7
博文 213
码字总数 510016
作品 0
深圳
【FastDFS】FastDFS分布式文件系统安装手册(单机版)

一、前言 FastDFS是用c语言编写的一款开源的分布式文件系统。FastDFS为互联网量身定制,充分考虑了冗余备份、负载均衡、线性扩容等机制,并注重高可用,高性能等指标。使用FastDFS很容易搭建...

qq_26545305 ⋅ 04/24 ⋅ 0

Ubuntu 14.04下部署FastDFS 5.08+Nginx 1.13.0

环境 Ubuntu 14.04 用户 admin 数据目录: /fastdfs 安装包:FastDFS v5.05 一、下载安装libfastcommon 1.1、上传或下载 libfastcommon-master.zip 到/usr/local/src 目录 1.2、解压 1.3、编...

paascloud ⋅ 2017/05/29 ⋅ 0

1Nginx+fastdfs分布式文件存储

 准备,将所需的软件传到服务器上,服务器的列表如下: fastdfs-nginx-modulev1.15.tar.gz FastDFSv4.06.tar.gz libevent-2.0.21-stable.tar.gz nginx-1.5.6.tar.gz openssl-1.0.1c.tar......

涂作权 ⋅ 2014/12/24 ⋅ 0

centos7安装FastDFS和nginx

1.所需的安装包: 链接:https://pan.baidu.com/s/1Hm48o3aBYn0C7PyWzBGUqw 密码:kio7 2安装centos7 输入yum -y install libevent 安装FastDFS依赖libevent库...

暴走萨摩耶 ⋅ 05/26 ⋅ 0

CentOS7下分布式文件系统FastDFS的安装 配置 (单节点)

背景 FastDFS是一个开源的轻量级分布式文件系统,为互联网量身定制,充分考虑了冗余备份、负载均衡、线性扩容等机制,并注重高可用、高性能等指标,解决了大容量存储和负载均衡的问题,特别适...

botaozhao ⋅ 04/24 ⋅ 0

FastDFS分布式文件存储搭建

FastDFS分布式文件存储,具体介绍不在阐述,有很多相关的资料介绍。这里描述一下FastDFS存储应用的搭建过程: 一、环境: 1、操作系统 :centos6.5 2、FastDFS版本: 5.0.8 3、Nginx版本: ...

菜鸟早起 ⋅ 06/12 ⋅ 0

Mavn 项目 引入第三方jar包 导致ClassNotFoundException

案例 我有一个Maven构建的项目,项目模块之间有依赖关系,我需要用到一个本地的jar包,而该jar包不能通过配置pom.xml文件从远程仓库自动下载,于是我直接导入该jar包到其中一个项目,不通过p...

Dylan1009 ⋅ 05/22 ⋅ 0

fastdfs+springboot

springboot整合fastdfs上传文件报错 java.net.SocketException: Connection reset by peer: socket write error at java.net.SocketOutputStream.socketWrite0(Native Method) ~[na:1.8.0_1......

feel105 ⋅ 05/02 ⋅ 0

【FastDFS】FastDFS+FastDHT完成文件上传去重

一、前言 最近公司让我搞FastDFS分布式文件系统。整个集群环境已经搭建成功啦。但是有一个问题一直困扰着我,那就是重复文件的上传。即使是同一个文件,多次上传,返回的id也是不一样的。这样...

qq_26545305 ⋅ 04/24 ⋅ 0

淘淘商城——VMware添加已配置好的虚拟机

我们有时候会碰到虚拟机环境搭建特别麻烦,很容易出错的问题,而这时我们又刚好有别人或者自己以前搭建好的虚拟机,我们便可以把搭建好的整个虚拟机copy过来供自己使用。本文就来教大家怎样在...

a_blackmoon ⋅ 05/24 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

HiSDP —— 高效的C++软件开发平台

目前阿里集团每天有近1000PB的数据是通过LogAgent采集的,为了让LogAgent做到资源占用节省和高效采集,背后是基于HiSDP去构建的。 缘由 当决定采用C++编程语言去开发一个软件时,紧接着所面临...

阿里云云栖社区 ⋅ 26分钟前 ⋅ 0

zookeeper-3.4.12 下载与安装教程

一、zookeeper下载地址 http://mirrors.hust.edu.cn/apache/zookeeper/ 二、启动教程 把压缩包放在指定目录下 第三: 进入 conf文件夹底下 zoo_sample.cfg 文件名改成 zoo.cfg 第四步: 进入b...

泉天下 ⋅ 27分钟前 ⋅ 0

Oracle 中文日期转换

SELECT TO_date('2011年11月11日', 'yy"年"mm"月"dd"日"') FROM DUAL; 1. Oracle无法识别中文格式,所以添加双引号。 2. 后面的格式是指字符串在转换前的格式,而不是指转换后的格式。...

江戸川 ⋅ 29分钟前 ⋅ 0

MySell:API Spring Boot

起步 类目 商品 订单

BeanHo ⋅ 31分钟前 ⋅ 0

Spring方法拦截器MethodInterceptor

参考资料 1、Spring方法拦截器MethodInterceptor 2、Sharding JDBC源码分析-JdbcMethodInvocation类的作用

哎小艾 ⋅ 34分钟前 ⋅ 0

正则表达式

元字符 元字符,又叫字符集,就是用一些特殊符号表示特定种类的字符或位置。 匹配字符 . 匹配除换行符以外的任意字符 \w 匹配字母或数字或下划线或汉字 \s 匹配任意的空白符 \d 匹配数字 匹配...

wangchen1999 ⋅ 34分钟前 ⋅ 0

数据库数据导入Elasticsearch案例分享

基于bboss持久层和bboss elasticsearch客户端实现数据库数据导入es案例分享(支持各种数据库和各种es版本) 1.案例对应的源码 https://gitee.com/bboss/bboss-elastic/blob/master/bboss-el...

bboss ⋅ 35分钟前 ⋅ 0

动手---sbt(2)

参考 https://blog.csdn.net/leishangwen/article/details/46225587 建立一个chisel_max目录,文件内容如后面所述,现在开始执行命令: joe@joe-Aspire-Z3730:/media/sdb4/download/scala$ c......

whoisliang ⋅ 42分钟前 ⋅ 0

纯js实现最简单的文件上传(后台使用MultipartFile)

<!DOCTYPE html><html><head> <meta charset="UTF-8"> <title>XMLHttpRequest上传文件</title> <script type="text/javascript"> //图片上传 var xhr......

孟飞阳 ⋅ 47分钟前 ⋅ 0

iOS宇宙大战游戏、调试工具、各种动画、AR相册、相机图片编辑等源码

iOS精选源码 日期时间选择器,swift Space Battle 宇宙大战 SpriteKit游戏源码 LLDebugTool - 便捷的IOS调试工具(新增截屏功能) 相机扫描or长按识别二维码、FMDB、键盘动态高度、定位等 动画...

sunnyaigd ⋅ 48分钟前 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部