真香，50行Java代码爬取妹子套图！

前言

当一个代码的工匠回首往事时，不因虚度年华而悔恨，也不因碌碌无为而羞愧，这样，当他老的时候，可以很自豪告诉世人，我曾经将代码注入生命去打造互联网的浪潮之巅，那是个很疯狂的时代，我在一波波的浪潮上留下了或重如泰山或轻如鸿毛的几笔。就比如，我今天就爬取了上百套妹子图，以此发文纪念一下！！

配置

引入爬虫工具类：

<dependency>
    <groupId>org.jsoup</groupId>
    <artifactId>jsoup</artifactId>
    <version>1.14.2</version>
</dependency>
<dependency>
    <groupId>cn.hutool</groupId>
    <artifactId>hutool-all</artifactId>
    <version>4.6.10</version>
</dependency>

步骤

定义线程池，当然是为了充分利用机器配置
获取本栏目所有妹子套图节点
获取套图地址
获取套图标题用于创建目录
获取套图图片数量
下载妹子套图

代码示例：

/**
 * 多线程获取妹子套图
 * 关注：https://blog.52itstyle.vip
 * 作者：小柒2012
 */
public class ImagesUtil {

    /**
     * 获取CPU个数
     */
    private static int corePoolSize = Runtime.getRuntime().availableProcessors();
    /**
     * 创建线程池  调整队列数 拒绝服务
     */
    private static ThreadPoolExecutor executor  = new ThreadPoolExecutor(corePoolSize, corePoolSize+1, 10l, TimeUnit.SECONDS,
            new LinkedBlockingQueue<>(1000));

    public static void main(String[] args) throws IOException {
        System.out.println("系统CPU核数："+corePoolSize);
        /**
         * 正则 匹配页码
         */
        String regEx="[^0-9]";
        Pattern p = Pattern.compile(regEx);
        String baseUrl = "https://www.tupianzj.com";
        Connection connect = Jsoup.connect(baseUrl+"/meinv/mm/meizitu/");
        Document document = connect.get();
        /**
         * 获取本栏目所有妹子套图节点
         */
        Elements elements = document.body().getElementsByClass("d1").select("li");
        for (Element img : elements) {
            Runnable task = () -> {
                try {
                    /**
                     * 获取套图地址
                     */
                    String href = img.child(0).attr("href");
                    Connection subConnect = Jsoup.connect(baseUrl+href)
                            . header("User-Agent", "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:49.0) Gecko/20100101 Firefox/49.0")
                            .timeout(8000);
                    Document subDocument = subConnect.get();
                    /**
                     * 获取套图标题用于创建目录
                     */
                    String title = subDocument.body().getElementsByTag("h1").eq(1).html();
                    System.out.println("开始下载："+title);
                    /**
                     * 获取套图图片数量
                     */
                    String txt =  subDocument.body().getElementsByClass("pages").select("li").eq(0).html();
                    Matcher m = p.matcher(txt);
                    if(StringUtils.isNoneBlank(m.replaceAll("").trim())){
                        Integer pageNo =  Integer.parseInt(m.replaceAll("").trim());
                        for (int i=0;i<pageNo;i++){
                            String url = baseUrl+href;
                            if(i!=0){
                                int page = i+1;
                                url = url.replace(".html","_"+page+".html");
                            }
                            subConnect = Jsoup.connect(url);
                            subDocument = subConnect.get();
                            String src = subDocument.getElementById("bigpicimg").attr("src");
                            /**
                             * 下载妹子
                             */
                            HttpUtil.downloadFile(src, FileUtil.mkdir("e:/妹子图/"+title+"/"));
                        }
                    }
                } catch (IOException e) {
                    e.printStackTrace();
                }
            };
            executor.execute(task);
        }
    }
}