文档章节

断点续传下载原理实现

peachyy
 peachyy
发布于 2017/09/07 12:54
字数 869
阅读 3
收藏 0
点赞 0
评论 0

需求背景

  • 动态创建的文件下载的时候希望浏览器显示下载进度
  • 动态创建的文件希望能够分段下载

HTTP断点续传报文

要实现HTTP断点续传必须要简单了解以下几个报文。

  • Accept-Ranges 告诉客户端(浏览器..)服务器端支持断点续传 服务器端返回
  • Range 客户端告诉服务器端从指定的的位置/范围(这里值字节数)下载资源 客户端发出
  • Content-Range 服务器端告诉客户端响应的数据信息,在整个返回体中本部分的字节位置 服务器端返回
  • ETag 资源标识 非必须 服务器端返回
  • Last-Modified 资源最后一次更新的时间 非必须 服务器端返回

Range 的范围格式

  1. 表示0-499个字节范围:Range: bytes=0-499
  2. 表示最后500个字节范围:Range: bytes=-500
  3. 表示500字节开始到结束范围:Range: bytes=500-
  4. 表示第一个和最后一个字节:Range: bytes=0-0,-1
  5. 表示同时指定几个范围:Range: bytes=500-600,601-999

Content-Range 的数据格式

Content-Range: bytes 0-499/22036 :表示返回0-499字节范围数据 资源一共22036个字节

原理

  1. 客户端发起请求 设置Range指定开始字节数或结束字节数 如果是从0开始也可以不用设置。
  2. 服务器端检查到客户端Range头 解析开始字节数以及结束字节数 并返回报文头 Accept-Ranges表示支持断点续传,Content-Range记录该次向客户端写入流的位置信息,然后再写入流到客户端。
  3. 服务端可以使用ETag Last-Modified 标记一下资源是否被修改。作一些验证工作,如果验证不通过则返回错误,非必须项。

java实现


      
OutputStream os= null;
InputStream inputStream = null;
File zipFile= null;
try{
long zipStart=System.currentTimeMillis();
zipFile=createFile(); //动态根据业务创建文件
if(logger.isInfoEnabled()){
logger.info(String.format( "压缩ZIP 花费时间 %s(s) ",
(System.currentTimeMillis()-zipStart)/ 1000));
}
if (zipFile.exists()) {
long downloadStart=System.currentTimeMillis();
inputStream= new BufferedInputStream( new FileInputStream(zipFile));
response.reset();
os= new BufferedOutputStream(response.getOutputStream());
String userAgent = request.getHeader( "USER-AGENT");
String fileName=zipFile.getName();
if ( null != userAgent && - 1 != userAgent.indexOf( "MSIE")) {
fileName = URLEncoder.encode(fileName, "UTF8");
} else if ( null != userAgent && - 1 != userAgent.indexOf( "Mozilla")) {
fileName = new String(fileName.getBytes( "utf-8"), "ISO-8859-1");
}
response.setHeader( "Accept-Ranges", "bytes");
response.setHeader( "Content-Disposition",
"attachment;filename="+ fileName);
response.setContentType(MediaType.APPLICATION_OCTET_STREAM_VALUE);
long pos = 0, fileSize=zipFile.length(),
last=fileSize- 1;
response.setHeader( "ETag",zipFile.getName().
concat(Objects.toString(fileSize))
.concat( "_").concat(Objects.toString(zipFile.lastModified())));
response.setDateHeader( "Last-Modified",zipFile.lastModified());
response.setDateHeader( "Expires",
System.currentTimeMillis()+ 1000* 60* 60* 24);
if ( null != request.getHeader( "Range")) {
response.setStatus(HttpServletResponse.SC_PARTIAL_CONTENT);
try {
// 暂时只处理这2种range格式 1、RANGE: bytes=111- 2、Range: bytes=0-499
String numRang = request.getHeader( "Range")
.replaceAll( "bytes=", "");
String[] strRange = numRang.split( "-");
if (strRange.length == 2) {
pos = Long.parseLong(strRange[ 0].trim());
last = Long.parseLong(strRange[ 1].trim());
} else {
pos = Long.parseLong(numRang.replaceAll( "-", "").trim());
}
} catch (NumberFormatException e) {
logger.error(request.getHeader( "Range") + " error");
pos = 0;
}
}
long rangLength = last - pos + 1;
String contentRange = new StringBuffer( "bytes ").
append(String.valueOf(pos)).
append( "-").append(last).append( "/").
append(String.valueOf(fileSize)).toString();
response.setHeader( "Content-Range", contentRange);
response.addHeader( "Content-Length",Objects.toString(rangLength));
if(pos> 0){
inputStream.skip(pos);
}
byte[] buffer = new byte[ 1024* 512]; //每次以512KB 0.5MB的流量下载
int length = 0,sendTotal= 0;
while (sendTotal < rangLength && length!=- 1) {
length = inputStream.read(buffer, 0,
((rangLength - sendTotal) <= buffer.length ?
(( int) (rangLength - sendTotal)) : buffer.length));
sendTotal = sendTotal + length;
os.write(buffer, 0, length);
}
if(os!= null){
os.flush();
}
if(logger.isInfoEnabled()){
logger.info(String.format( "下载 花费时间 %s(s) ",
(System.currentTimeMillis()-downloadStart)/ 1000));
}
}
} catch (Exception e){
if(StringUtils.endsWithIgnoreCase(e.getMessage(), "Broken pipe")){
logger.error( "用户取消下载");
}
logger.error(e.getMessage(),e);
} finally {
if(os!= null){
try{
os.close();
} catch (Exception e){}
}
if(inputStream!= null){
try{
IOUtils.closeQuietly(inputStream);
} catch (Exception e){}
}
}
}

比如google浏览器下载的时候就能看到下载进度以及暂停下载和恢复下载操作,也可以设置Range测试分段下载。


关注公众号<笑笑笑技术圈>会不定期发布一些不限于技术的文章

 笑笑笑技术圈

© 著作权归作者所有

共有 人打赏支持
peachyy

peachyy

粉丝 2
博文 8
码字总数 2036
作品 0
江北
产品经理
Http 206 文件断点续传下载原理

HTTP 304/200(from cache) 静态资源缓存原理 HTTP 204/205状态响应&HEAD请求 header标头说明 断点续传下载需要重视2个请求头Range与If-Range 一.断点续传的原理 其实断点续传的原理很简单,就...

IamOkay ⋅ 2015/01/25 ⋅ 13

NSURLSessionDownloadTask的后台下载与断点续传

对于后台下载与断点续传相信大家肯定不会陌生,那么如果要同时实现这两种需求该怎么办呢? 使用NSURLSessionDataTask可以很轻松实现断点续传,可是有个致命的缺点就是无法进行后台下载,一点应用...

xiaobai1315 ⋅ 2016/09/21 ⋅ 0

一个来自Afinal断点下载BUG的解决方案

作为国内第一个Android开发框架Afinal,相信有很多开发者都知道的。虽然随着Android版本的迭代,其中有一些方法有了更好的解决办法但从来没有人怀疑Afinal的价值。 最近在做一个断点下载的功...

kymjs张涛 ⋅ 2014/12/14 ⋅ 14

用 Java 实现断点续传 (HTTP)

断点续传的原理 其实断点续传的原理很简单,就是在 Http 的请求上和一般的下载有所不同而已。 打个比方,浏览器请求服务器上的一个文时,所发出的请求如下: 假设服务器域名为 wwww.sjtu.ed...

罪恶的花生 ⋅ 2012/06/22 ⋅ 0

Delphi用ICS控件进行断点续传

Delphi用ICS控件进行断点续传 原帖地址:http://www.lonetear.net/bbs/read.asp?id=36143 原帖地址2(傻猫):http://www.samool.com/archives/41252/ 用HTTPCLI和NMHTTP都可以实现断点续传,原理...

vga ⋅ 2014/06/07 ⋅ 0

java断点续传

断点续传的原理 其实断点续传的原理很简单,就是在 Http 的请求上和一般的下载有所不同而已。 打个比方,浏览器请求服务器上的一个文时,所发出的请求如下: 假设服务器域名为 wwww.sjtu.ed...

刘万祥 ⋅ 2016/04/13 ⋅ 0

解读断点续传的基本原理

断点续传的理解可以分为两部分:一部分是断点,一部分是续传。断点的由来是在下载过程中,将一个下载文件分成了多个部分,同时进行多个部分一起 的下载,当某个时间点,任务被暂停了,此时下...

bengozhong ⋅ 2016/08/31 ⋅ 0

用Java实现HTTP断点续传(1)

(一)断点续传的原理 其实断点续传的原理很简单,就是在Http的请求上和一般的下载有所不同而已。打个比方,浏览器请求服务器上的一个文时,所发出的请求如下: 假设服务器域名为wwww.sjtu.edu...

millzhang ⋅ 2011/05/04 ⋅ 0

Winform文件下载之断点续传

在本系列的前两篇文章中,分别向大家介绍了用于完成下载任务的 WebClinet 和 WinINet 的基本用法和一些实用技巧。 今天来为大家讲述下载过程中最常遇到的断点续传问题。 首先明确一点,本文所...

葡萄城控件技术团队 ⋅ 2016/06/15 ⋅ 0

C# 文件下载之断点续传

注意,本文所说的断点续传特指 HTTP 协议中的断点续传。本文主要聊聊思路和关键代码,更多细节请参考本文附带的 demo。 工作原理 HTTP 协议中定义了一些请求/响应头,通过组合使用这些头信息...

llljj96 ⋅ 2017/05/23 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

Spring JavaConfig 注解

JavaConfig注解允许开发者将Bean的定义和配置放在Java类中。它是除使用XML文件定义和配置Bean外的另一种方案。 配置: 如一个Bean如果在XML文件可以这样配置: <bean id="helloBean" class="...

霍淇滨 ⋅ 32分钟前 ⋅ 0

Spring clound 组件

Spring Cloud技术应用从场景上可以分为两大类:润物无声类和独挑大梁类。 润物无声,融合在每个微服务中、依赖其它组件并为其提供服务。 Ribbon,客户端负载均衡,特性有区域亲和、重试机制。...

英雄有梦没死就别停 ⋅ 34分钟前 ⋅ 0

Confluence 6 重新获得站点备份文件

Confluence 将会创建备份,同时压缩 XML 文件后存储熬你的 <home-directory>/backups> 目录中。你需要自己访问你安装的 Confluence 服务器,并且从服务器上获得这个文件。 运行从 Confluence...

honeymose ⋅ 38分钟前 ⋅ 0

informix的常用SQL语句

1、创建数据库 eg1. 创建不记录日志的库testdb,参考语句如下: CREATE DATABASE testdb; eg2. 创建带缓冲式的记录日志的数据库testdb(SQL语句不一定在事务之中,拥有者名字不被用于对象的解...

wangxuwei ⋅ 54分钟前 ⋅ 0

matplotlib画图

最简单的入门是从类 MATLAB API 开始,它被设计成兼容 MATLAB 绘图函数。 from pylab import *from numpy import *x = linspace(0, 5, 10)y = x ** 2figure()plot(x, y, 'r')...

Dr_hu ⋅ 今天 ⋅ 0

RabbitMQ学习以及与Spring的集成(三)

本文介绍RabbitMQ与Spring的简单集成以及消息的发送和接收。 在RabbitMQ的Spring配置文件中,首先需要增加命名空间。 xmlns:rabbit="http://www.springframework.org/schema/rabbit" 其次是模...

onedotdot ⋅ 今天 ⋅ 0

JAVA实现仿微信红包分配规则

最近过年发红包拜年成为一种新的潮流,作为程序猿对算法的好奇远远要大于对红包的好奇,这里介绍一种自己想到的一种随机红包分配策略,还请大家多多指教。 算法介绍 一、红包金额限制 对于微...

小致dad ⋅ 今天 ⋅ 0

Python 数电表格格式化 xlutils xlwt xlrd的使用

需要安装 xlutils xlwt xlrd 格式化前 格式化后 代码 先copy读取的表格,然后按照一定的规则修改,将昵称中的学号提取出来替换昵称即可 from xlrd import open_workbookfrom xlutils.copy ...

阿豪boy ⋅ 今天 ⋅ 0

面试题:使用rand5()生成rand7()

前言 读研究生这3 年,思维与本科相比变化挺大的,这几年除了看论文、设计方案,更重要的是学会注重先思考、再实现,感觉更加成熟吧,不再像个小P孩,人年轻时总会心高气傲。有1 道面试题:给...

初雪之音 ⋅ 今天 ⋅ 0

Docker Toolbox Looks like something went wrong

Docker Toolbox 重新安装后提示错误:Looks like something went wrong in step ´Checking if machine default exists´ 控制面板-->程序与应用-->启用或关闭windows功能:找到Hyper-V,如果处......

随你疯 ⋅ 今天 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部