sendfile机制学习(转)
sendfile机制学习(转)
屌丝Lee 发表于2年前
sendfile机制学习(转)
  • 发表于 2年前
  • 阅读 23
  • 收藏 1
  • 点赞 1
  • 评论 0

标题:腾讯云 新注册用户域名抢购1元起>>>   

摘要: 在apache,nginx,lighttpd等web服务器当中,KAFKA消息队列,都有一项sendfile相关的配置,在一些网上的资料都有谈到sendfile会提升文件传输性能,那sendfile到底是什么呢?它的原理又是如何呢?

在传统的文件传输里面(read/write方式),在实现上其实是比较复杂的,需要经过多次上下文的切换,我们看一下如下两行代码:

read(file, tmp_buf, len);
write(socket, tmp_buf, len);
  以上两行代码是传统的read/write方式进行文件到socket的传输。

当需要对一个文件进行传输的时候,其具体流程细节如下:

 1、调用read函数,文件数据被copy到内核缓冲区

 2、read函数返回,文件数据从内核缓冲区copy到用户缓冲区

 3、write函数调用,将文件数据从用户缓冲区copy到内核与socket相关的缓冲区。

 4、数据从socket缓冲区copy到相关协议引擎。

 以上细节是传统read/write方式进行网络文件传输的方式,我们可以看到,在这个过程当中,文件数据实际上是经过了四次copy操作:

 硬盘—>内核buf—>用户buf—>socket相关缓冲区—>协议引擎

 而sendfile系统调用则提供了一种减少以上多次copy,提升文件传输性能的方法。Sendfile系统调用是在2.1版本内核时引进的:

sendfile(socket, file, len);

 运行流程如下:

 1、sendfile系统调用,文件数据被copy至内核缓冲区

 2、再从内核缓冲区copy至内核中socket相关的缓冲区

 3、最后再socket相关的缓冲区copy到协议引擎

     相较传统read/write方式,2.1版本内核引进的sendfile已经减少了内核缓冲区到user缓冲区,再由user缓冲区到socket相关 缓冲区的文件copy。

    而在内核版本2.4之后,文件描述符结果被改变,sendfile实现了更简单的方式,系统调用方式仍然一样。细节与2.1版本的不同之处在于,当文件数据被复制到内核缓冲区时,不再将所有数据copy到socket相关的缓冲区,而是仅仅将记录数据位置和长度相关的数据保存到 socket相关的缓存。实际数据将由DMA模块直接发送到协议引擎,再次减少了一次copy操作。

效率 3次copy->1次copy;

共有 人打赏支持
粉丝 1
博文 25
码字总数 11676
×
屌丝Lee
如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
* 金额(元)
¥1 ¥5 ¥10 ¥20 其他金额
打赏人
留言
* 支付类型
微信扫码支付
打赏金额:
已支付成功
打赏金额: