phantomjs 的缓存
phantomjs 的缓存
明月惊鹊 发表于1年前
phantomjs 的缓存
  • 发表于 1年前
  • 阅读 1168
  • 收藏 0
  • 点赞 0
  • 评论 3

腾讯云 学生专属云服务套餐 10元起购>>>   

在群里看到一位说phantomjs去访问网站,百度统计、cnzz都会认为: 第一次是新访客,后续是老访客。 而在chrome隐身模式里每次都算是新访客。

这不可能吧, 老衲记得以前去爬百度每次都算的,,,,

phantomjs xx.js 这样跑看起来是不缓存到文件了。

phantomjs --cookies-file=/dev/shm/{0}.txt --disk-cache=true --local-storage-path=/dev/shm  --max-disk-cache-size=40960 --web-security=false --proxy={0} phantom.js 这样写貌似是有缓存文件了。

可是实际发现,实际上 phantomjs xx.js 会在当前用户目录下产生隐藏的缓存文件!

centos 下是 /home/delphi/.local/share/Ofi Labs/PhantomJS

记录一下, 以益后人。

共有 人打赏支持
粉丝 22
博文 52
码字总数 12684
评论 (3)
supmain
博主你好,我用phantomjs生成pdf,当访问的网站有百度统计的代码时,类似:<script type="text/javascript">var _hmt=_hmt||[];(function(){var hm=document.createElement("script").....,page.rend( 绝对路径+'my.pdf' ) 渲染会返回false,就是生成文件会失败,但是我通过控制台发现,phantomjs确实访问了url,就是生成失败了。然后我删除百度统计的代码,去掉script标签,render就会返回true,也就是生成pdf文件成功了。实在是费解。。。
supmain
然后我看下百度统计的代码,就是 s.parentNode.insertBefore(hm,s) 这句出了问题,我删了这句就没问题,不知道phantomjs是不是不支持dom一类的操作,然后报错了?但是page.onError没有接收到报错信息啊,感觉是个bug。
明月惊鹊
用phantomjs 2.1 来render过gif, 貌似没有你说的这个情况啊。 百度统计是纯js操作dom啊,phantomjs应该是支持这种情况的,我以前爬别人的网站的时候页面里多数都是ajax动态加载、动态插入节点
×
明月惊鹊
如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
* 金额(元)
¥1 ¥5 ¥10 ¥20 其他金额
打赏人
留言
* 支付类型
微信扫码支付
打赏金额:
已支付成功
打赏金额: