文档章节

phantomjs 的缓存

明月惊鹊
 明月惊鹊
发布于 2016/06/23 17:56
字数 169
阅读 1251
收藏 0

在群里看到一位说phantomjs去访问网站,百度统计、cnzz都会认为: 第一次是新访客,后续是老访客。 而在chrome隐身模式里每次都算是新访客。

这不可能吧, 老衲记得以前去爬百度每次都算的,,,,

phantomjs xx.js 这样跑看起来是不缓存到文件了。

phantomjs --cookies-file=/dev/shm/{0}.txt --disk-cache=true --local-storage-path=/dev/shm  --max-disk-cache-size=40960 --web-security=false --proxy={0} phantom.js 这样写貌似是有缓存文件了。

可是实际发现,实际上 phantomjs xx.js 会在当前用户目录下产生隐藏的缓存文件!

centos 下是 /home/delphi/.local/share/Ofi Labs/PhantomJS

记录一下, 以益后人。

© 著作权归作者所有

共有 人打赏支持
上一篇: airodump
明月惊鹊
粉丝 27
博文 68
码字总数 14850
作品 0
广州
高级程序员
私信 提问
加载中

评论(3)

明月惊鹊
明月惊鹊
用phantomjs 2.1 来render过gif, 貌似没有你说的这个情况啊。 百度统计是纯js操作dom啊,phantomjs应该是支持这种情况的,我以前爬别人的网站的时候页面里多数都是ajax动态加载、动态插入节点
supmain
supmain
然后我看下百度统计的代码,就是 s.parentNode.insertBefore(hm,s) 这句出了问题,我删了这句就没问题,不知道phantomjs是不是不支持dom一类的操作,然后报错了?但是page.onError没有接收到报错信息啊,感觉是个bug。
supmain
supmain
博主你好,我用phantomjs生成pdf,当访问的网站有百度统计的代码时,类似:<script type="text/javascript">var _hmt=_hmt||[];(function(){var hm=document.createElement("script").....,page.rend( 绝对路径+'my.pdf' ) 渲染会返回false,就是生成文件会失败,但是我通过控制台发现,phantomjs确实访问了url,就是生成失败了。然后我删除百度统计的代码,去掉script标签,render就会返回true,也就是生成pdf文件成功了。实在是费解。。。
聊聊phantomjs的优化措施

序 本文主要小结一下phantomjs的优化措施 phantomjs phantomjs相当于一个后台浏览器,有点内嵌jetty的味道,通常在自动化测试或者爬虫领域用。 优化点 池化技术,避免重复启动 对于其他语言进...

go4it
2017/11/07
0
0
PhantomJS 2.0.0 发布,服务器端 JavaScript

PhantomJS 2.0.0 发布,此版本更新了基于 Qt 5.3 的 WebKit 库;不再支持 CoffeeScript,不能再运行 CoffeeScript 编写的脚本。 PhantomJS 2.0.0 现已提供下载:http://phantomjs.org/downlo...

oschina
2015/02/03
4K
1
ubuntu 安装phantomjs、chromedriver、geckodriver

一、安装phantomjs 1.从官网下载http://phantomjs.org/download.html 2.加压 tar -zxvf phantomjs-2.1.1-linux-x86_64.tar.bz2 3.mv phantomjs-2.1.1-linux-x86_64 /usr/local/share/phanto......

littlemesieV
04/18
0
0
Web 自动化测试与智能爬虫利器:PhantomJS 简介与实战

估计部分同学没听过这个工具,那先简单介绍下它的背景与作用。 1、PhantomJS 是什么? PhantomJS是一个基于WebKit的服务器端JavaScript API,它无需浏览器的支持即可实现对Web的支持,且原生...

大数据之路
2015/04/28
0
2
如何在无头模式下运行WebDriver?

如何在无头模式下运行WebDriver?如果您的CI工具(例如Jenkins)不支持UI,则可能需要这样做。 在无头模式下运行WebDriver自动测试在测试执行速度和更轻松地集成到CI管道方面具有优势。 下面...

程序猿拿Q
11/26
0
0

没有更多内容

加载失败,请刷新页面

加载更多

OSChina 周六乱弹 —— 你一口我一口多咬一口是小狗

Osc乱弹歌单(2018)请戳(这里) 【今日歌曲】 @达尔文 :分享Roy Orbison的单曲《She's a Mystery to Me》 《She's a Mystery to Me》- Roy Orbison 手机党少年们想听歌,请使劲儿戳(这里...

小小编辑
今天
153
4
Spring源码学习笔记-1-Resource

打算补下基础,学习下Spring源码,参考书籍是《Spring源码深度解析》,使用版本是Spring 3.2.x,本来想试图用脑图记录的,发现代码部分不好贴,还是作罢,这里只大略记录下想法,不写太细了 ...

zypy333
今天
14
0
RestClientUtil和ConfigRestClientUtil区别说明

RestClientUtil directly executes the DSL defined in the code. ConfigRestClientUtil gets the DSL defined in the configuration file by the DSL name and executes it. RestClientUtil......

bboss
今天
21
0

中国龙-扬科
昨天
4
0
Linux系统设置全局的默认网络代理

更改全局配置文件/etc/profile all_proxy="all_proxy=socks://rahowviahva.ml:80/"ftp_proxy="ftp_proxy=http://rahowviahva.ml:80/"http_proxy="http_proxy=http://rahowviahva.ml:80/"......

临江仙卜算子
昨天
14
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部