文档章节

sendfile

完美世界
 完美世界
发布于 2014/06/05 16:57
字数 614
阅读 22
收藏 0

   在apache,nginx,lighttpd等web服务器当中,都有一项sendfile相关的配置,在一些网上的资料都有谈到sendfile会提升文件传输性能,那sendfile到底是什么呢?它的原理又是如何呢? 

    在传统的文件传输里面(read/write方式),在实现上其实是比较复杂的,需要经过多次上下文的切换,我们看一下如下两行代码:


read(file, tmp_buf, len);  

write(socket, tmp_buf, len);  

    以上两行代码是传统的read/write方式进行文件到socket的传输。当需要对一个文件进行传输的时候,其具体流程细节如下:


 调用read函数,文件数据被copy到内核缓冲区

read函数返回,文件数据从内核缓冲区copy到用户缓冲区

write函数调用,将文件数据从用户缓冲区copy到内核与socket相关的缓冲区。

数据从socket缓冲区copy到相关协议引擎。

    以上细节是传统read/write方式进行网络文件传输的方式,我们可以看到,在这个过程当中,文件数据实际上是经过了四次copy操作:


    硬盘—>内核buf—>用户buf—>socket相关缓冲区—>协议引擎,而sendfile系统调用则提供了一种减少以上多次copy,提升文件传输性能的方法。Sendfile系统调用是在2.1版本内核时引进的:


sendfile(socket, file, len);

运行流程如下:


sendfile系统调用,文件数据被copy至内核缓冲区

再从内核缓冲区copy至内核中socket相关的缓冲区

最后再socket相关的缓冲区copy到协议引擎

    相较传统read/write方式,2.1版本内核引进的sendfile已经减少了内核缓冲区到user缓冲区,再由user缓冲区到socket相关 缓冲区的文件copy。


    而在内核版本2.4之后,文件描述符结果被改变,sendfile实现了更简单的方式,系统调用方式仍然一样,细节与2.1版本的 不同之处在于,当文件数据被复制到内核缓冲区时,不再将所有数据copy到socket相关的缓冲区,而是仅仅将记录数据位置和长度相关的数据保存到 socket相关的缓存,而实际数据将由DMA模块直接发送到协议引擎,再次减少了一次copy操作。


© 著作权归作者所有

共有 人打赏支持
下一篇: replace
完美世界
粉丝 10
博文 151
码字总数 134011
作品 0
西城
高级程序员
私信 提问
Linux零拷贝函数SendFile应用

项目需要,使用linux零拷贝函数SendFile来传输文件。 传统的read/write方式进行网络文件传输的方式,要经过四次copy操作: 硬盘 >> kernel buffer >> user buffer >> kernel socket buffer ......

zidanzzg
2016/12/27
14
2
Flask error: werkzeug.routing.BuildError

@main.route('/sendfile', methods=['GET', 'POST'])def sendfile(): if request.method == 'POST': f = request.files['file'] basepath = path.abspath(path.dirname(file)) upload_path =......

aaa奇奇aaa
2016/11/21
0
0
PHP X-sendfile实现文件下载

项目中涉及到文件的下载功能,通常PHP文件下载都是将文件先读取出来然后发送相应头文件进行下载。 如: $filedir = $instance->attachpath.HelperHash::hashDIR($id).$attach['path'];if(!fi...

frylan
2013/06/18
0
1
sendfile优化文件拷贝

原文地址:http://www.vpsee.com/2009/07/linux-sendfile-improve-performance/ 现在流行的 web 服务器里面都提供 sendfile 选项用来提高服务器性能,那到底 sendfile 是什么,怎么影响性能的...

youshine
2015/07/08
0
0
Apache站点下载大文件不完整原因及解决办法

今天在本地测试一个JQuery插件,但是浏览器里一直提示JQuery文件第x行缺少“}”。刚开始以为是js文件有问题,所以就从官方重新下载了一个JQuery,但还是有同样的问题,重新看了一下代码,没有...

苗雨顺
2011/04/01
0
0

没有更多内容

加载失败,请刷新页面

加载更多

OSChina 周二乱弹 —— 其实我在地板也睡不着

Osc乱弹歌单(2018)请戳(这里) 【今日歌曲】 @witt-z :分享歌词: 阴天 在不开灯的房间,当所有思绪都一点一点沉淀。 分享莫文蔚的单曲《阴天》: 《阴天》- 莫文蔚 手机党少年们想听歌,...

小小编辑
22分钟前
20
3
微服务分布式事务实现

https://www.processon.com/view/link/5b2144d7e4b001a14d3d2d30

WALK_MAN
今天
3
0
《大漠烟尘》读书笔记及读后感文章3700字

《大漠烟尘》读书笔记及读后感文章3700字: 在这个浮躁的社会里,你有多久没有好好读完一本书了? 我们总觉得自己和别人不一样,所以当看到别人身上的问题时,很少有“反求诸己”,反思自己。...

原创小博客
今天
4
0
大数据教程(9.5)用MR实现sql中的jion逻辑

上一篇博客讲解了使用jar -jar的方式来运行提交MR程序,以及通过修改YarnRunner的源码来实现MR的windows开发环境提交到集群的方式。本篇博主将分享sql中常见的join操作。 一、需求 订单数据表...

em_aaron
今天
3
0
十万个为什么之什么是resultful规范

起源 越来越多的人开始意识到,网站即软件,而且是一种新型的软件。这种"互联网软件"采用客户端/服务器模式,建立在分布式体系上,通过互联网通信,具有高延时(high latency)、高并发等特点...

尾生
今天
3
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部