文档章节

phantomjs 的缓存

明月惊鹊
 明月惊鹊
发布于 2016/06/23 17:56
字数 169
阅读 1225
收藏 0

在群里看到一位说phantomjs去访问网站,百度统计、cnzz都会认为: 第一次是新访客,后续是老访客。 而在chrome隐身模式里每次都算是新访客。

这不可能吧, 老衲记得以前去爬百度每次都算的,,,,

phantomjs xx.js 这样跑看起来是不缓存到文件了。

phantomjs --cookies-file=/dev/shm/{0}.txt --disk-cache=true --local-storage-path=/dev/shm  --max-disk-cache-size=40960 --web-security=false --proxy={0} phantom.js 这样写貌似是有缓存文件了。

可是实际发现,实际上 phantomjs xx.js 会在当前用户目录下产生隐藏的缓存文件!

centos 下是 /home/delphi/.local/share/Ofi Labs/PhantomJS

记录一下, 以益后人。

© 著作权归作者所有

共有 人打赏支持
明月惊鹊
粉丝 25
博文 62
码字总数 13656
作品 0
广州
高级程序员
加载中

评论(3)

明月惊鹊
明月惊鹊
用phantomjs 2.1 来render过gif, 貌似没有你说的这个情况啊。 百度统计是纯js操作dom啊,phantomjs应该是支持这种情况的,我以前爬别人的网站的时候页面里多数都是ajax动态加载、动态插入节点
supmain
supmain
然后我看下百度统计的代码,就是 s.parentNode.insertBefore(hm,s) 这句出了问题,我删了这句就没问题,不知道phantomjs是不是不支持dom一类的操作,然后报错了?但是page.onError没有接收到报错信息啊,感觉是个bug。
supmain
supmain
博主你好,我用phantomjs生成pdf,当访问的网站有百度统计的代码时,类似:<script type="text/javascript">var _hmt=_hmt||[];(function(){var hm=document.createElement("script").....,page.rend( 绝对路径+'my.pdf' ) 渲染会返回false,就是生成文件会失败,但是我通过控制台发现,phantomjs确实访问了url,就是生成失败了。然后我删除百度统计的代码,去掉script标签,render就会返回true,也就是生成pdf文件成功了。实在是费解。。。
聊聊phantomjs的优化措施

序 本文主要小结一下phantomjs的优化措施 phantomjs phantomjs相当于一个后台浏览器,有点内嵌jetty的味道,通常在自动化测试或者爬虫领域用。 优化点 池化技术,避免重复启动 对于其他语言进...

go4it
2017/11/07
0
0
Web 自动化测试与智能爬虫利器:PhantomJS 简介与实战

估计部分同学没听过这个工具,那先简单介绍下它的背景与作用。 1、PhantomJS 是什么? PhantomJS是一个基于WebKit的服务器端JavaScript API,它无需浏览器的支持即可实现对Web的支持,且原生...

大数据之路
2015/04/28
0
2
ubuntu 安装phantomjs、chromedriver、geckodriver

一、安装phantomjs 1.从官网下载http://phantomjs.org/download.html 2.加压 tar -zxvf phantomjs-2.1.1-linux-x86_64.tar.bz2 3.mv phantomjs-2.1.1-linux-x86_64 /usr/local/share/phanto......

littlemesieV
04/18
0
0
PhantomJs 2 Headless Chrome

PhantomJS is dead, long live headless browsers 这是一个从PhantomJs走到Headless Chrome的故事,趟过了Highcharts的性能问题的坑,掉入过中文官方文档的错误的坑,尝试过依赖库的源码修改...

charleschu
04/14
0
0
利用Selenium和PhantomJS在Centos下跑测试

做过selenium自动化项目的同学应该都遇到过这样的问题:测试用例太多,运行速度过慢导致团队成员怨声载道。 于是便有了selenium grid和多线程运行selenium测试用例的方法。这些方法各有利弊这...

江边望海
2015/08/06
0
1

没有更多内容

加载失败,请刷新页面

加载更多

下一页

java并发备忘

不安全的“先检查后执行”,代码形式如下: if(条件满足){ //这里容易出现线程安全问题//doSomething}else{//doOther} 读取-修改-写入 原子操作:使用CAS技术,即首先从V中读取...

Funcy1122
今天
0
0
SpringBoot2.0 停机

最近新建了个SpringBoot2.0的项目,因为原来一直使用的是传统的Tomcat部署war包的形式,所以这次SpringBoot内置Tomcat部署jar包的时候遇到了很多问题。其中一个就是因为没有外置的Tomcat容器...

Canaan_
昨天
0
1
Confluence 6 外部参考

一个外部参考的意思是任何站点链接到你 Confluence 的实例。任何时候当 Confluence 的用户单击这个外部链接的时候,Confluence 可以记录这次单击为参考。 在默认的情况下,外部链接的参考链接...

honeymose
昨天
0
0
Android中的设计模式之抽象工厂模式

参考 《设计模式解析》 第十一章 Abstract Factory模式 《设计模式:可复用面向对象软件的基础 》3.1 Abstract Factory 抽象工厂 对象创建型模式 《Android源码设计模式解析与实战》第6章 创...

newtrek
昨天
0
0
Redis | 地理空间(GEO)的一个坑

Redis的地理空间(Geo)是个好东西,轻轻松松的就可以把地图描点的问题处理了, 最近却遇到一个坑...Redis采用的Msater-Slave模式, 运用GEORADIUS在salve读取对应的数据,新增了从节点但是从不返...

云迹
昨天
1
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部