文档章节

W3C api 抓取

canghailan
 canghailan
发布于 2012/01/03 13:28
字数 351
阅读 216
收藏 0

存档

W3CIDLFetcher

package canghailan.w3c;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;

import java.io.BufferedWriter;
import java.io.IOException;
import java.net.URISyntaxException;
import java.nio.charset.Charset;
import java.nio.file.Files;
import java.nio.file.Path;
import java.nio.file.Paths;
import java.nio.file.StandardOpenOption;
import java.text.SimpleDateFormat;
import java.util.Arrays;
import java.util.Date;

/**
 * @author canghailan 2011-12-26 14:54
 */
public class W3CIDLFetcher {

    private static final int TIMEOUT = 60 * 1000; // 1min
    private static final String[] CSS_URLS = {
            "http://dev.w3.org/csswg/cssom/",
            "http://dev.w3.org/csswg/cssom-view/"
    };
    private static final String[] DOM_URLS = {
            "http://dvcs.w3.org/hg/domcore/raw-file/tip/Overview.html",
            "http://www.w3.org/TR/DOM-Level-3-Events/"
    };
    private static final String[] HTML_URLS = {
            "http://www.w3.org/TR/html5/Overview.html",
    };

    public static String[] fetchAll() throws IOException, URISyntaxException {
        Path home = Paths.get(W3CIDLFetcher.class.getProtectionDomain()
                .getCodeSource().getLocation().toURI());
        String timestamp = new SimpleDateFormat("yyyyMMddHHmmssSSS").format(new Date());
        Path cssIdl = home.resolve("css" + timestamp + ".idl");
        Path domIdl = home.resolve("dom" + timestamp + ".idl");
        Path htmlIdl = home.resolve("html" + timestamp + ".idl");

        fetch(Arrays.asList(CSS_URLS), cssIdl.toString());
        fetch(Arrays.asList(DOM_URLS), domIdl.toString());
        fetch(Arrays.asList(HTML_URLS), htmlIdl.toString());

        return new String[]{cssIdl.toString(), domIdl.toString(), htmlIdl.toString()};
    }

    public static void fetch(Iterable<String> urls, String path) throws IOException {
        for (String url : urls) {
            fetch(url, path);
        }
    }

    public static void fetch(String url, String path) throws IOException {
        System.out.println("fetch idl: " + url + " -> " + path);

        Document doc = Jsoup.connect(url).timeout(TIMEOUT).get();
        BufferedWriter writer = Files.newBufferedWriter(
                Paths.get(path), Charset.forName("UTF-8"),
                StandardOpenOption.WRITE,
                StandardOpenOption.CREATE,
                StandardOpenOption.APPEND);
        for (Element idl : doc.select("pre.idl")) {
            writer.write(idl.text());
            writer.write("\n\n");
        }
        writer.flush();
        writer.close();
    }

    public static void main(String[] args) throws IOException, URISyntaxException {
        fetchAll();
    }

}

WebIDLGrammarDownloader

package canghailan.webidl;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

import java.io.BufferedWriter;
import java.io.IOException;
import java.net.URISyntaxException;
import java.nio.charset.Charset;
import java.nio.file.Files;
import java.nio.file.Path;
import java.nio.file.Paths;
import java.nio.file.StandardOpenOption;

/**
 * @author canghailan 2011-12-26 19:39
 */
public class WebIDLGrammarDownloader {

    private static final int TIMEOUT = 60 * 1000; // 1min

    public static void download() throws IOException, URISyntaxException {
        Document doc = Jsoup.connect("http://www.w3.org/TR/WebIDL/").timeout(TIMEOUT).get();
        Elements grammars = doc.select("#appendices .grammar");

        Path home = Paths.get(WebIDLGrammarDownloader.class.getProtectionDomain()
                .getCodeSource().getLocation().toURI());
        Path webIdlGrammar = home.resolve("web-idl.g");
        BufferedWriter writer = Files.newBufferedWriter(
                webIdlGrammar, Charset.forName("UTF-8"),
                StandardOpenOption.WRITE,
                StandardOpenOption.CREATE,
                StandardOpenOption.TRUNCATE_EXISTING);

        for (Element grammar : grammars) {
            for (Element tr : grammar.select("tr")) {
                writer.write(tr.text());
                writer.write('\n');
            }
        }

        writer.flush();
        writer.close();
    }

    public static void main(String[] args) throws IOException, URISyntaxException {
        download();
    }
}

w3c-api: https://code.google.com/p/es-operating-system/

© 著作权归作者所有

canghailan

canghailan

粉丝 28
博文 14
码字总数 10765
作品 0
武汉
程序员
私信 提问
九Python之HTML的解析(网页抓取一)

对html的解析是网页抓取的基础,分析抓取的结果找到自己想要的内容或标签以达到抓取的目的。 HTMLParser是python用来解析html的模块。它可以分析出html里面的标签、数据等等,是一种处理htm...

dkz
2013/03/05
0
2
HTML5:实至名归还是言过其实?

庶几何时,HTML5 开始吸引越来越多的人的目光,尽管 W3C 表示,它的最终成熟还有很长的路,然而并不能阻止人们对它的期待。2007年,HTML5 向 W3C 标准进军,HTML5 的使命是实现富 Web 应用的...

红薯
2010/05/01
1K
3
前端面试基础手册(HTML+CSS)

HTML 前端需要注意哪些SEO? 合理的title、description、keywords:搜索对着三项的权重逐个减小,title值强调重点即可,重要关键词出现不要超过2次,而且要靠前,不同页面title要有所不同;d...

羯瑞。♑
2018/08/08
0
0
Python3.x网页分析HTMLParser基础用法

HTMLParser是python用来解析html的模块。它可以分析出html里面的标签、数据等等,是一种处理html的简便途径。HTMLParser采用的是一种事件驱动的模式,当HTMLParser找到一个特定的标记时,它会...

楠木楠
2016/09/19
70
0
WEB前端学习面试题之SEO:SEO需要注意哪些点

Web前端开发工程师是一个很新的职业,是从事Web前端开发工作的工程师。主要进行网站开发,优化,完善的工作。网页制作是Web 1.0时代的产物,那时网站的主要内容都是静态的,用户使用网站的行...

web前端小辰
2018/05/29
0
0

没有更多内容

加载失败,请刷新页面

加载更多

搭建tftp服务

前言: 最近整理一些以前的学习笔记。 过去都是存储在本地,此次传到网络留待备用。 TFTP服务: TFTP:Trivial File Transfer Protocol 不重要文件传输协议 主要用来传送小文件,不支持认证和...

迷失De挣扎
今天
4
0
rest 的理解

rest:表现层状态转移。 什么是restful协议?https://en.wikipedia.org/wiki/Representational_state_transfer 使用restful的好处。 Rest是一种体系结构样式,他定义了一组用于创建web服务的...

xiaoxiao_go
今天
5
0
聊聊spring cloud的CachingSpringLoadBalancerFactory

序 本文主要研究一下spring cloud的CachingSpringLoadBalancerFactory CachingSpringLoadBalancerFactory spring-cloud-openfeign-core-2.2.0.M1-sources.jar!/org/springframework/cloud/o......

go4it
昨天
6
0
一篇文章搞定——JDK8中新增的StampedLock

一、StampedLock类简介 StampedLock类,在JDK1.8时引入,是对读写锁ReentrantReadWriteLock的增强,该类提供了一些功能,优化了读锁、写锁的访问,同时使读写锁之间可以互相转换,更细粒度控...

须臾之余
昨天
5
0
Android Camera原理之CameraDeviceCallbacks回调模块

在讲解《Android Camera原理之openCamera模块(二)》一文的时候提到了CameraDeviceCallbacks回调,当时没有详细展开,本文我们详细展开讲解一下。 CameraDeviceCallbacks生成过程: 《Android...

天王盖地虎626
昨天
8
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部