文档章节

sendfile机制学习(转)

屌丝Lee
 屌丝Lee
发布于 2016/04/14 11:03
字数 637
阅读 108
收藏 1

在传统的文件传输里面(read/write方式),在实现上其实是比较复杂的,需要经过多次上下文的切换,我们看一下如下两行代码:

read(file, tmp_buf, len);
write(socket, tmp_buf, len);
  以上两行代码是传统的read/write方式进行文件到socket的传输。

当需要对一个文件进行传输的时候,其具体流程细节如下:

 1、调用read函数,文件数据被copy到内核缓冲区

 2、read函数返回,文件数据从内核缓冲区copy到用户缓冲区

 3、write函数调用,将文件数据从用户缓冲区copy到内核与socket相关的缓冲区。

 4、数据从socket缓冲区copy到相关协议引擎。

 以上细节是传统read/write方式进行网络文件传输的方式,我们可以看到,在这个过程当中,文件数据实际上是经过了四次copy操作:

 硬盘—>内核buf—>用户buf—>socket相关缓冲区—>协议引擎

 而sendfile系统调用则提供了一种减少以上多次copy,提升文件传输性能的方法。Sendfile系统调用是在2.1版本内核时引进的:

sendfile(socket, file, len);

 运行流程如下:

 1、sendfile系统调用,文件数据被copy至内核缓冲区

 2、再从内核缓冲区copy至内核中socket相关的缓冲区

 3、最后再socket相关的缓冲区copy到协议引擎

     相较传统read/write方式,2.1版本内核引进的sendfile已经减少了内核缓冲区到user缓冲区,再由user缓冲区到socket相关 缓冲区的文件copy。

    而在内核版本2.4之后,文件描述符结果被改变,sendfile实现了更简单的方式,系统调用方式仍然一样。细节与2.1版本的不同之处在于,当文件数据被复制到内核缓冲区时,不再将所有数据copy到socket相关的缓冲区,而是仅仅将记录数据位置和长度相关的数据保存到 socket相关的缓存。实际数据将由DMA模块直接发送到协议引擎,再次减少了一次copy操作。

效率 3次copy->1次copy;

本文转载自:网络

共有 人打赏支持
屌丝Lee
粉丝 1
博文 31
码字总数 12657
作品 0
杭州
私信 提问
Apache站点下载大文件不完整原因及解决办法

今天在本地测试一个JQuery插件,但是浏览器里一直提示JQuery文件第x行缺少“}”。刚开始以为是js文件有问题,所以就从官方重新下载了一个JQuery,但还是有同样的问题,重新看了一下代码,没有...

苗雨顺
2011/04/01
0
0
sendfile()对nginx性能的提升

Linux kernel 2.2之前,(如图)读写数据基本都是使用read系统调用和write系调用,以nginx来说如果一个请求建立,从磁盘的文件到网络连接之间会通过硬件(DMA)---内核层---用户层多次读写系...

老徐_kevin
2014/05/26
0
0
磁盘及网络IO工作方式解析

PIO与DMA 有必要简单地说说慢速I/O设备和内存之间的数据传输方式。 PIO 我们拿磁盘来说,很早以前,磁盘和内存之间的数据传输是需要CPU控制的,也就是说如果我们读取磁盘文件到内存中,数据要...

go4it
2016/12/04
10
0
libmill 1.2/1.4.38 发布,Go 风格的 C 并发编程库

libmill 1.2 发布,此版本最重要的是在成千上万的大量连接场景中,速度快 1700 倍! 性能的大幅度提升主要是因为使用现代的轮询机制 (epoll or kqueue, respectively) 代替了之前的 fashione...

oschina
2015/12/06
2.7K
8
splice和sendfile

在linux2.6.17之后,内核提供了一个splice/tee系统调用,这可以让用户直接操作内核缓冲区了,这个特性特别适合做网络代理,本文简短的说明一下,快下班了。 在linux2.6.17之后,内核提供了一...

晨曦之光
2012/04/10
211
0

没有更多内容

加载失败,请刷新页面

加载更多

Confluence 6 升级中的一些常见问题

升级的时候遇到了问题了吗? 如果你想尝试重新进行升级的话,你需要首先重新恢复老的备份。不要尝试再次对 Confluence 进行升级或者在升级失败后重新启动老的 Confluence。 在升级过程中的一...

honeymoose
今天
2
0
C++随笔(四)Nuget打包

首先把自己编译好的包全部准备到一个文件夹 像这样 接下来新建一个文本文档,后缀名叫.nuspec 填写内容 <?xml version="1.0"?><package xmlns="http://schemas.microsoft.com/packaging/201......

Pulsar-V
今天
2
0
再谈使用开源软件搭建数据分析平台

三年前,我写了这篇博客使用开源软件快速搭建数据分析平台, 当时收到了许多的反馈,有50个点赞和300+的收藏。到现在我还能收到一些关于dataplay2的问题。在过去的三年,开源社区和新技术的发...

naughty
今天
11
0
Python3的日期和时间

python 中处理日期时间数据通常使用datetime和time库 因为这两个库中的一些功能有些重复,所以,首先我们来比较一下这两个库的区别,这可以帮助我们在适当的情况下时候合适的库。 在Python文...

编程老陆
今天
2
0
分布式面试整理

并发和并行 并行是两个任务同时进行,而并发呢,则是一会做一个任务一会又切换做另一个任务。 临界区 临界区用来表示一种公共资源或者说是共享数据,可以被多个线程使用,但是每一次,只能有...

群星纪元
今天
3
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部