文档章节

Java进阶学习1-多线程下载

August1996_
 August1996_
发布于 2016/04/16 08:54
字数 896
阅读 30
收藏 1

1. 首先说一下多线程下载,原理是通过使用多个线程去争取服务器的更多资源.看下图吧

2.接着就是我们都知道文件存储是有顺序的,当存储的二进制数据0和1发生了变化的时候,文件就发生了翻天覆地的变化.所以我们必须保证下载的东西存储顺序是原来一样的,一一对应.我们的思路每个线程负责一个区域的局部下载,所以我们把请求的数据分块,并把一个文件分块(这样就不必每次都需要请求一个完整的文件了).很幸运哈,http协议有个RANGE属性字段,就是可以设置请求数据的区域范围.而且,Java也为我们提供了一个RandomAccessFile类,它可以让我们按需要去读写改某个区域.下面看图时间到...

3.下面就是分块内容了,首先我们可以获取文件的大小fileSize,然后获取每个线程应该分配的大小eachSize = fileSize / THREAD_COUNT.有了下载大小还不可以,我们还需要计算从哪里开始startIndex下载,和从从哪里结束下载endIndex(用于确定请求范围),考虑下面公式,如果有线程0 1 2.那么

0线程:

    startIndex = 0 * eachSize

    endIndex = 1 * eachSize - 1;

1线程:

    startIndex = 1 * eachSize

    endIndex = 2 * eachSize - 1;

2线程:

    startIndex = 2 * eachSize

    endIndex = 3 * eachSize - 1;

总结:

        startIndex = i * eachSize;

        endIndex = (i + 1) * eachSize - 1;

大概就能这样写?显然,最后一个线程计算的公式是有问题的,因为fileSize / THREAD_COUNT可能是有余数的,这样的话我们的下载就不完整了,那么怎么办.很简单 最后一个线程的结束就是整个文件的大小嘛...

4.那么我们下面就开始编码吧

package snippet;
import java.io.InputStream;
import java.io.RandomAccessFile;
import java.net.HttpURLConnection;
import java.net.URL;
public class MutiDownload {
    
    private static final int    THREAD_COUNT    = 5;
    private static final String    DOWNLOAD_URL    = "http://s1.music.126.net/download/osx/NeteaseMusic_1.4.3_452_web.dmg";
    private static final String    fileName        = "/Users/August/Desktop/NeteaseMusic_1.4.3_452_web.dmg";
                                                
    public static void main(String[] args) {
        
        long fileSize;
        HttpURLConnection connection = null;
        try {
            
            connection = (HttpURLConnection) new URL(DOWNLOAD_URL).openConnection();
            connection.setRequestMethod("GET");
            connection.setConnectTimeout(8000);
            connection.setReadTimeout(8000);
            
            if (connection.getResponseCode() == 200) {
                /**
                 * 当请求成功时,返回http状态码200
                 */
                fileSize = connection.getContentLength();
                long eachSize = fileSize / THREAD_COUNT;
                RandomAccessFile raf = new RandomAccessFile(fileName, "rw");
                /**
                 * 打开一个RandomAccessFile文件,打开方式为读写(rw)
                 * setLength是先在存储设备占用一块空间,防止下载到一半空间不足
                 */
                raf.setLength(fileSize);
                raf.close();
                
                for (int i = 0; i < THREAD_COUNT; i++) {
                    long startIndex = i * eachSize;
                    long endIndex = (i + 1) * eachSize - 1;
                    if (i == THREAD_COUNT - 1) {
                        endIndex = fileSize;
                    }
                    /**
                     * 当时最后一个线程的时候,endIndex的值就由文件大小
                     */
                    new DownloadThread(DOWNLOAD_URL, fileName, i, startIndex, endIndex).start();
                }
                
            }
        } catch (Exception e) {
            e.printStackTrace();
        } finally {
            if (connection != null) {
                connection.disconnect();
                connection = null;
            }
        }
    }
    
}
class DownloadThread extends Thread {
    
    private String                url;
    private String                fileName;
    private int                    threadID;
    private long                startIndex;
    private long                endIndex;
    private HttpURLConnection    connection;
    private RandomAccessFile    raf;
    private InputStream            inputStream;
                                
    public DownloadThread(String url, String fileName, int threadID, long startIndex, long endIndex) {
        super();
        this.url = url;
        this.fileName = fileName;
        this.threadID = threadID;
        this.startIndex = startIndex;
        this.endIndex = endIndex;
    }
    
    @Override
    public void run() {
        try {
            HttpURLConnection connection = (HttpURLConnection) new URL(url + "?ts=" + System.currentTimeMillis())
                    .openConnection();
            connection.setRequestMethod("GET");
            connection.setConnectTimeout(8000);
            connection.setReadTimeout(8000);
            connection.setRequestProperty("RANGE", "bytes=" + startIndex + "-" + endIndex);
            /**
             * 设置请求范围.
             */
            
            /**
             * 当请求部分数据成功的时候,返回http状态码206
             */
            if (connection.getResponseCode() == 206) {
                inputStream = connection.getInputStream();
                byte[] bs = new byte[1024];
                int len;
                raf = new RandomAccessFile(fileName, "rwd");
                raf.seek(startIndex);
                /**
                 * 把开始写的位置设置为startIndex,与请求数据的位置一致
                 */
                
                long total = 0;
                while ((len = inputStream.read(bs)) != -1) {
                    total += len;
                    System.out.println("线程" + threadID + ":" + total);
                    raf.write(bs, 0, len);
                }
                /**
                 * 上面是开始读取并写入数据,下面是擦屁股...
                 */
            }
            
        } catch (Exception e) {
            e.printStackTrace();
        } finally {
            try {
                if (connection != null) {
                    connection.disconnect();
                    connection = null;
                }
                if (raf != null) {
                    raf.close();
                    raf = null;
                }
                if (inputStream != null) {
                    inputStream.close();
                    inputStream = null;
                }
            } catch (Exception e2) {
                e2.printStackTrace();
            }
        }
    }
}


© 著作权归作者所有

August1996_
粉丝 2
博文 51
码字总数 29055
作品 0
湛江
程序员
私信 提问
大数据开发培训:0基础学习Java编程语言有哪些知识点?

Java 技术通用、高效、具有平台移植性和安全性,广泛应用于PC、数据中心、游戏控制台、科学超级计算机、移动电话和互联网等,学习Java首先要知道学习知识点有哪些。在这就用加米谷大数据培训...

加米谷大数据
2018/07/25
2
0
你分得清分布式、高并发与多线程吗?

当提起这三个词的时候,是不是很多人都认为分布式=高并发=多线程? 当面试官问到高并发系统可以采用哪些手段来解决,或者被问到分布式系统如何解决一致性的问题,是不是一脸懵逼? 确实,在一...

宋庆离
01/17
2.1K
0
如何分清分布式、高并发与多线程吗?

当提起这三个词的时候,是不是很多人都认为分布式=高并发=多线程? 当面试官问到高并发系统可以采用哪些手段来解决,或者被问到分布式系统如何解决一致性的问题,是不是一脸懵逼? 确实,在一...

架构师技术联盟
2018/12/25
0
0
Java程序设计经典300例

《Java程序设计经典300例》共分为3篇。 第1篇 基础篇(第1~5章)本篇主要内容包括:Java语言基础、流程控制、数组、字符串和面向对象编程。通过本篇的学习,读者可以掌握Java开发环境的配置...

请叫我院长
2013/12/03
467
0
快过年了,我给小明制定了一份价值60万的Java学习计划

1. 有些人觉得,学习计划有什么好制定的——今天是一天,明天是一天,后天还是一天,一天一天的就这样过好了。 但我不这么觉得。 2. 高尔基曾说过:“书籍是人类进步的阶梯。”那,要想在201...

Java邵先生
01/22
0
0

没有更多内容

加载失败,请刷新页面

加载更多

OSChina 周日乱弹 —— 我,小小编辑,食人族酋长

Osc乱弹歌单(2019)请戳(这里) 【今日歌曲】 @宇辰OSC :分享娃娃的单曲《飘洋过海来看你》: #今日歌曲推荐# 《飘洋过海来看你》- 娃娃 手机党少年们想听歌,请使劲儿戳(这里) @宇辰OSC...

小小编辑
今天
166
8
spring cloud

一、从面试题入手 1.1、什么事微服务 1.2、微服务之间如何独立通讯的 1.3、springCloud和Dubbo有哪些区别 1.通信机制:DUbbo基于RPC远程过程调用;微服务cloud基于http restFUL API 1.4、spr...

榴莲黑芝麻糊
今天
2
0
Executor线程池原理与源码解读

线程池为线程生命周期的开销和资源不足问题提供了解决方 案。通过对多个任务重用线程,线程创建的开销被分摊到了多个任务上。 线程实现方式 Thread、Runnable、Callable //实现Runnable接口的...

小强的进阶之路
昨天
6
0
maven 环境隔离

解决问题 即 在 resource 文件夹下面 ,新增对应的资源配置文件夹,对应 开发,测试,生产的不同的配置内容 <resources> <resource> <directory>src/main/resources.${deplo......

之渊
昨天
8
0
详解箭头函数和普通函数的区别以及箭头函数的注意事项、不适用场景

箭头函数是ES6的API,相信很多人都知道,因为其语法上相对于普通函数更简洁,深受大家的喜爱。就是这种我们日常开发中一直在使用的API,大部分同学却对它的了解程度还是不够深... 普通函数和...

OBKoro1
昨天
7
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部