文档章节

如何写程序自动下载BBC Learning English的所有在线课程

杨尚川
 杨尚川
发布于 2015/10/21 18:53
字数 1569
阅读 1868
收藏 52

BBC Learning English在线3大系列课程:Lower intermediateIntermediateEnglish My Way 声音很悦耳,尤其是Jamaica Inn和The Importance of Being Earnest,堪称完美,百听不厌,这对于英语兴趣的培养和英语能力的提升非常有帮助。到目前为止,这些课程的mp3和pdf文件已经有2859个,而且还在持续增长中,如果能写个程序自动地把这些文件下载下来就好了,要是手工一个个下载,那得累死吧,尤其是对那些还从来没有学过这个课程的人。

下载下来后将文件拷贝到手机上,在挤地铁挤公交的时候戴着耳机听一听,充分利用时间嘛,听不懂的还可以看看录音稿,要不然直接在BBC的网站上看,那太不方便了。

首先,我们使用maven引入jsoup依赖:

<dependency>
    <groupId>org.jsoup</groupId>
    <artifactId>jsoup</artifactId>
    <version>1.7.2</version>
</dependency>

接下来就可以写代码了:

import org.jsoup.Connection;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Element;

import java.nio.file.Files;
import java.nio.file.Path;
import java.nio.file.Paths;
import java.util.HashSet;
import java.util.Set;
import java.util.concurrent.atomic.AtomicInteger;

/**
 * Created by ysc on 10/21/15.
 * 下载BBC Learning English在线课程
 */
public class BBC {
    private static int count = 0;
    public static void main(String[] args) {
        String path = "/Users/apple/百度云同步盘/BBC/";

        //***
        //archived version
        //***
        //General & Business English
        download("http://www.bbc.co.uk/worldservice/learningenglish/general/sixminute/",
                "6 Minute English Archived",
                path);
        download("http://www.bbc.co.uk/worldservice/learningenglish/general/englishatwork/",
                "English at Work",
                path);
        download("http://www.bbc.co.uk/worldservice/learningenglish/general/expressenglish/",
                "Express English",
                path);
        download("http://www.bbc.co.uk/worldservice/learningenglish/general/talkaboutenglish/",
                "Talk about English",
                path);
        download("http://www.bbc.co.uk/worldservice/learningenglish/business/talkingbusiness/",
                "Talking Business",
                path);
        download("http://www.bbc.co.uk/worldservice/learningenglish/business/wab/",
                "Working Abroad",
                path);
        download("http://www.bbc.co.uk/worldservice/learningenglish/work/handy/",
                "Handy Guide",
                path);
        //Grammar, Vocabulary & Pronunciation
        download("http://www.bbc.co.uk/worldservice/learningenglish/language/wordsinthenews/",
                "Words in the News Archived",
                path);
        download("http://www.bbc.co.uk/worldservice/learningenglish/language/theenglishwespeak/",
                "The English We Speak Archived",
                path);
        download("http://www.bbc.co.uk/worldservice/learningenglish/language/theteacher/",
                "The Teacher",
                path);
        download("http://www.bbc.co.uk/worldservice/learningenglish/language/newsextra/",
                "News English Extra",
                path);
        download("http://www.bbc.co.uk/worldservice/learningenglish/language/newsaboutbritain/",
                "News about Britain",
                path);
        download("http://www.bbc.co.uk/worldservice/learningenglish/language/askaboutenglish/",
                "Ask about English",
                path);
        download("http://www.bbc.co.uk/worldservice/learningenglish/language/uptodate/",
                "Keep your English up to date",
                path);
        download("http://www.bbc.co.uk/worldservice/learningenglish/language/faceup/",
                "Face Up to Phrasals",
                path);
        //Talking Sport
        download("http://www.bbc.co.uk/worldservice/learningenglish/talkingsport/",
                "Talking Sport",
                path);
        //Specials
        download("http://www.bbc.co.uk/worldservice/learningenglish/specials/",
                "Specials",
                path);

        //***
        //Features
        //***
        download("http://www.bbc.co.uk/learningenglish/english/features/news-report",
                "News Report",
                path);
        download("http://www.bbc.co.uk/learningenglish/english/features/the-english-we-speak",
                "The English We Speak",
                path);
        download("http://www.bbc.co.uk/learningenglish/english/features/lingohack",
                "Lingohack",
                path);
        download("http://www.bbc.co.uk/learningenglish/english/features/6-minute-english",
                "6 Minute English",
                path);
        download("http://www.bbc.co.uk/worldservice/learningenglish/grammar/pron/sounds/",
                "The sounds of English",
                path,
                true,
                true);
        download("http://www.bbc.co.uk/learningenglish/english/features/drama",
                "Dramas from BBC Learning English",
                path);
        download("http://www.bbc.co.uk/learningenglish/english/features/witn",
                "Words in the News",
                path);

        //***
        //Courses
        //***
        download("lower-intermediate", 30, path);
        download("intermediate", 30, path);
        download("emw", 15, path);

        System.out.println("total file count: " + count);
    }

    public static void download(String entranceURL, String type, String path){
        download(entranceURL, type, path, false, false);
    }
    /**
     * 下载课程
     * @param entranceURL 课程入口页面
     * @param type 课程类型
     * @param path 保存到本地的路径
     * @param containEntrance 是否下载入口页面上的课程
     * @param justOriginalName 是否使用原来的文件名称保存文件
     */
    public static void download(String entranceURL, String type, String path, boolean containEntrance, boolean justOriginalName){
        int timeout = 300000;
        if(!entranceURL.endsWith("/")){
            entranceURL += "/";
        }
        Set<String> urls = new HashSet<>();
        boolean ok = false;
        int limit=0;
        while (!ok && (limit++) < 3) {
            try {
                System.out.println("【"+type+"】*** connect " + entranceURL);
                for (Element element : Jsoup.connect(entranceURL).timeout(timeout).get().select("a")) {
                    String href = element.attr("href").trim();
                    if (!href.startsWith("http")) {
                        if(href.startsWith("/")){
                            href = "http://www.bbc.co.uk" + href;
                        }else{
                            href = entranceURL + href;
                        }
                    }
                    if (href.startsWith(entranceURL) && (!href.equals(entranceURL) || containEntrance) ) {
                        urls.add(href);
                    }
                }
                ok = true;
            } catch (Exception e) {
                System.out.println(e.getMessage() + " retry...");
            }
        }
        AtomicInteger i = new AtomicInteger(1);
        Set<String> resources = new HashSet<>();
        urls.stream().sorted().forEach(url -> {
            boolean success = false;
            int times=0;
            while (!success && (times++) < 3) {
                try {
                    System.out.println(i.get() + "、connect " + url);
                    for (Element element : Jsoup.connect(url).timeout(timeout).get().select("a")) {
                        String href = element.attr("href").trim();
                        //只下载mp3、mp4、wav和pdf文件
                        if (href.endsWith(".mp3") || href.endsWith(".wav") || href.endsWith(".mp4") || href.endsWith(".pdf")) {
                            if (!href.startsWith("http")) {
                                if(href.startsWith("/")){
                                    href = "http://www.bbc.co.uk" + href;
                                }else{
                                    String[] attr = url.split("/");
                                    href = url.substring(0, url.length()-attr[attr.length-1].length()) + href;
                                }
                            }
                            resources.add(href);
                        }
                    }
                    i.incrementAndGet();
                    success = true;
                } catch (Exception e) {
                    System.out.println(e.getMessage() + " retry...");
                }
            }
        });
        AtomicInteger j = new AtomicInteger(1);
        count += resources.size();
        resources.stream().sorted().forEach(resource -> {
            boolean success = false;
            int times=0;
            while (!success && (times++) < 3) {
                try {
                    //提取文件名称
                    String[] attr = resource.split("/");
                    String fileName = attr[attr.length - 2] + "_" + attr[attr.length - 1].replace(attr[attr.length - 2], "");
                    if(attr[attr.length - 1].endsWith(attr[attr.length - 2])){
                        fileName = attr[attr.length - 1];
                    }
                    fileName = fileName.replace("_download", "");
                    if(justOriginalName){
                        fileName = attr[attr.length - 1];
                    }
                    System.out.println(resources.size() + "/" + j.get() + "、find resource: " + resource);
                    //确保本地路径存储
                    Path dir = Paths.get(path, type);
                    if (!Files.exists(dir)) {
                        //不存在则新建
                        dir.toFile().mkdirs();
                    }
                    //保存文件的完整本地路径
                    Path out = Paths.get(path, type, fileName);
                    //如果文件存在则表示之前已经下载过,本次不用下载
                    //因为BBC的访问不稳定,所以可能需要执行程序多次才能完整下载完毕,所以这里要处理已存在文件的问题
                    if (!Files.exists(out)) {
                        //下载文件
                        Connection.Response response = Jsoup.connect(resource).maxBodySize(0).ignoreContentType(true).timeout(timeout).execute();
                        //将文件保存到本地
                        Files.write(out, response.bodyAsBytes());
                        System.out.println(resources.size() + "/" + j.get() + "、save resource to: " + out);
                    } else {
                        System.out.println(resources.size() + "/" + j.get() + "、resource exist, don't need to download");
                    }
                    j.incrementAndGet();
                    success = true;
                } catch (Exception e) {
                    System.out.println(e.getMessage() + " retry...");
                }
            }
        });
    }

    /**
     * BBC Learning English在线课程类型:
     * 1、lower-intermediate http://www.bbc.co.uk/learningenglish/english/course/lower-intermediate
     * 2、intermediate http://www.bbc.co.uk/learningenglish/english/course/intermediate
     * 3、emw http://www.bbc.co.uk/learningenglish/english/course/emw
     * @param type 课程类型
     * @param unitCount 课数
     * @param path 保存到本地的路径
     */
    public static void download(String type, int unitCount, String path) {
        int timeout = 300000;
        Set<String> hrefs = new HashSet<>();
        System.out.println("【"+type+"】*** starting... ");
        for(int i=1; i<=unitCount; i++) {
            int times=0;
            boolean success = false;
            while (!success && (times++) < 3) {
                try {
                    String url = "http://www.bbc.co.uk/learningenglish/english/course/" + type + "/unit-" + i + "/downloads";
                    System.out.println("unit " + i + "、connect " + url);
                    for (Element element : Jsoup.connect(url).timeout(timeout).get().select("a")) {
                        String href = element.attr("href").trim();
                        //只下载mp3、mp4、wav和pdf文件
                        if (href.endsWith(".mp3") || href.endsWith(".wav") || href.endsWith(".mp4") || href.endsWith(".pdf")) {
                            hrefs.add(href);
                        }
                    }
                    success = true;
                } catch (Exception e) {
                    System.out.println(e.getMessage()+" retry...");
                }
            }
        }
        AtomicInteger i = new AtomicInteger(1);
        count += hrefs.size();
        hrefs.stream().sorted().forEach(href -> {
            boolean success = false;
            while (!success) {
                try {
                    //提取文件名称
                    String[] attr = href.split("/");
                    String fileName = attr[attr.length - 2] + "_" + attr[attr.length - 1].replace(attr[attr.length - 2], "");
                    if(attr[attr.length - 1].endsWith(attr[attr.length - 2])){
                        fileName = attr[attr.length - 1];
                    }
                    fileName = fileName.replace("_download", "");
                    System.out.println(hrefs.size() + "/" + i.get() + "、find resource: " + href);
                    //确保本地路径存储
                    Path dir = Paths.get(path, type);
                    if (!Files.exists(dir)) {
                        //不存在则新建
                        dir.toFile().mkdirs();
                    }
                    //保存文件的完整本地路径
                    Path out = Paths.get(path, type, fileName);
                    //如果文件存在则表示之前已经下载过,本次不用下载
                    //因为BBC的访问不稳定,所以可能需要执行程序多次才能完整下载完毕,所以这里要处理已存在文件的问题
                    if (!Files.exists(out)) {
                        //下载文件
                        Connection.Response response = Jsoup.connect(href).maxBodySize(0).ignoreContentType(true).timeout(timeout).execute();
                        //将文件保存到本地
                        Files.write(out, response.bodyAsBytes());
                        System.out.println(hrefs.size() + "/" + i.get() + "、save resource to: " + out);
                    } else {
                        System.out.println(hrefs.size() + "/" + i.get() + "、resource exist, don't need to download");
                    }
                    i.incrementAndGet();
                    success = true;
                } catch (Exception e) {
                    System.out.println(e.getMessage()+" retry...");
                }
            }
        });
    }
}

代码也可以从我的开源项目HtmlExtractor中获取。

对于不会写程序只想学英语的同学可以从我的百度网盘直接下载:

BBC 链接: https://pan.baidu.com/s/1qXNcA1Q 密码: yxyf

VOA 链接: https://pan.baidu.com/s/1c272iLa 密码: 3c63

 

 

 

 

© 著作权归作者所有

杨尚川

杨尚川

粉丝 1103
博文 220
码字总数 1624053
作品 12
东城
架构师
私信 提问
加载中

评论(3)

杨尚川
杨尚川 博主

引用来自“Mr_kimilo”的评论

解决了我学英语素材的问题。赞
There are many resources at here: http://my.oschina.net/apdplat/blog/473088
滴滴丶哔哔
滴滴丶哔哔
解决了我学英语素材的问题。赞
笔阁
笔阁
能顺便写一个下这个的不?
http://www.hubwiz.com/coursecenter
English_learning_resources --to be continued

VOA VOA special English RSS订阅 VOA standard English RSS订阅 BBC learning English(http://www.bbc.co.uk/learningenglish) graded-readers(http://www.teachingenglish.org.uk/article/......

jeffsui
2015/09/04
44
0
how to improve your English hearing

how to improve your English hearing not VOA not VOA special , so many words you don't know . for example here is a VOA special news: The U.S. Secretary of State John Kerry cited......

jeffsui
2015/08/27
62
0
送你一份深度学习10大在线免费课程资源!

来源:机器之心 本文长度为2000字,建议阅读3分钟 本文为你分享10大深度学习免费在线课程,have fun~ 现在网络上有大量深度学习在线课程,Edgy Lab为大家找到了10大免费课程,帮助大家自学,...

enohtzvqijxo00atz3y8
2017/12/12
0
0
深度学习如何入门?

如果您具有数学和计算机科学方面的工程背景或相关知识的编码经验,只需两个月即可熟练掌握深度学习。 难以置信? 四步使它成为可能。 欲了解更多,请往下看 Step 1: 学习机器学习基础 (可选,...

崔斯特呀
2017/09/08
0
0
国外程序员经常用的二十八个学习网站

  无论你是想转行,成为一名全职程序员,或者想尝试打造一个网站或应用程序,或者只是希望提高了你的技能,学习代码无疑是每个程序员都绕不开的一关。尽管作为一个程序员可能不适合每一个人...

程序员客栈
2016/06/25
151
0

没有更多内容

加载失败,请刷新页面

加载更多

怎样在磁盘上查找MySQL表的大小?这里有答案

我想知道 MySQL 表在磁盘上占用多少空间,但看起来很琐碎。不应该在 INFORMATION_SCHEMA.TABLES 中提供这些信息吗?没那么简单! 我想知道 MySQL 表在磁盘上占用多少空间,但看起来很琐碎。不应...

Linux就该这么学
42分钟前
5
0
Redis

一、Redis支持的几种数据类型:字符串、List、SET、HASH、ZSET 二、Redis的缓存技术主要是为了降低关系数据库的负载并减少网站成本 三、在Redis里面,被MULTI命令和EXEC命令包围的所有命令会...

BobwithB
44分钟前
4
0
MongoDB基础之入门

MongoDB基础之入门 一、MONGODB简介 MongoDB由C/C++开发,是一种强大、灵活、可扩展的数据存储方式。它扩展了关系型数据库的众多有用功能,例如:辅助索引、范围查询和排序。MongoDB还内置了...

星汉
46分钟前
7
0
c++ 神奇的赋值用法

c++ 神奇的赋值用法(第8章)

天王盖地虎626
今天
5
0
Jquery操作UI之设置字体大小

先获取字体大小,进行处理。再将修改的值保存。 slice() 方法可从已有的数组中返回选定的元素。 arrayObject.slice(start,end)。 start 必需。规定从何处开始选取。如果是负数,那么它规定从...

前端老手
今天
8
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部