文档章节

用Java实现网易云音乐爬虫(非selenium)

张小虾
 张小虾
发布于 2017/09/04 13:21
字数 147
阅读 103
收藏 0

代码地址https://git.oschina.net/bobozhangyx/java-crawler/tree/master/music163

主要内容:

  1. 使用httpclient(非模拟浏览器)

  2. 使用网易云音乐api

  3. 采集:评论和用户最近听歌的统计

思路:

  1. 用一首歌的id作为入口,得到下面的所有评论 --> 取出用户id
  2. 通过用户id取出该用户最近听的歌 --> 得到歌的id

目前待解决的问题:  

  1.  没有加入代理池,爬取过快会被服务器封ip

 

© 著作权归作者所有

下一篇: 启信宝-api接口
张小虾
粉丝 1
博文 3
码字总数 1364
作品 0
朝阳
程序员
私信 提问
你分得清分布式、高并发与多线程吗?

当提起这三个词的时候,是不是很多人都认为分布式=高并发=多线程? 当面试官问到高并发系统可以采用哪些手段来解决,或者被问到分布式系统如何解决一致性的问题,是不是一脸懵逼? 确实,在一...

宋庆离
01/17
2.2K
0
浅谈java classloader

本文由作者张远道授权网易云社区发布。 类加载器三杰 jvm有三类classloader,分别是bootstrap classloader,extended classloader以及system classloader。 bootstrap classloader是系统在启动...

网易云
2018/12/14
0
0
Python 用于网站抓取 登录 发布的模块介绍

由于目前的Web开发中AJAX、Javascript、CSS的大量使用,一些网站上的重要数据是由Ajax或Javascript动态生成的,并不能直接通过解析html页面内容就能获得(例如采用mechanize、lxml、Beautif...

shaohan
2014/03/20
1K
0
我是如何在毕业2年内逆袭成为BAT年薪40W的资深开发工程师的?

  坐标:杭州 | 工作时间:2年 | 年薪:40W   毕业院校:普通二本(非计算机专业)   现任职位:BAT某公司资深开发工程师   身边的师弟师妹经常问到:非计算机专业出身,你是在2年内...

java进阶架构师
2018/12/05
0
0
使用Selenium来抓取动态加载的页面

一般的爬虫都是直接使用http协议,下载指定url的html内容,并对内容进行分析和抽取。在我写的爬虫框架webmagic里也使用了HttpClient来完成这样的任务。 但是有些页面是通过js以及ajax动态加载...

黄亿华
2013/07/26
66.3K
34

没有更多内容

加载失败,请刷新页面

加载更多

java发送html模板的高逼格邮件

最近做了一个监测k8s服务pod水平伸缩发送邮件的功能(当pod的cpu/内存达到指定阈值后会水平扩展出多个pod、或者指定时间内pod数应扩展到指定数量),一开始写了个格式很low的邮件,像下面这样...

码农实战
6分钟前
2
0
php-fpm配置文件详解/MariaDB密码重置、慢查询日志

来源:https://blog.csdn.net/Powerful_Fy php-fpm主配置文件路径:/usr/local/php-fpm/etc/php-fpm.conf #位于安装php安装目录下的etc/目录中,该文件中最后一行将配置文件指向:include=/...

asnfuy
11分钟前
2
0
川普给埃尔多安和内堪尼亚胡的信

任性 https://twitter.com/netanyahu/status/1186647558401253377 https://edition.cnn.com/2019/10/16/politics/trump-erdogan-letter/index.htm...

Iridium
32分钟前
10
0
golang-mysql-原生

db.go package mainimport ("database/sql""time"_ "github.com/go-sql-driver/mysql")var (db *sql.DBdsn = "root:123456@tcp(127.0.0.1:3306)/test?charset=u......

李琼涛
今天
5
0
编程作业20191021092341

1编写一个程序,把用分钟表示的时间转换成用小时和分钟表示的时 间。使用#define或const创建一个表示60的符号常量或const变量。通过while 循环让用户重复输入值,直到用户输入小于或等于0的值...

1李嘉焘1
今天
7
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部