文档章节

phantomjs 的缓存

明月惊鹊
 明月惊鹊
发布于 2016/06/23 17:56
字数 169
阅读 1216
收藏 0
点赞 0
评论 3

在群里看到一位说phantomjs去访问网站,百度统计、cnzz都会认为: 第一次是新访客,后续是老访客。 而在chrome隐身模式里每次都算是新访客。

这不可能吧, 老衲记得以前去爬百度每次都算的,,,,

phantomjs xx.js 这样跑看起来是不缓存到文件了。

phantomjs --cookies-file=/dev/shm/{0}.txt --disk-cache=true --local-storage-path=/dev/shm  --max-disk-cache-size=40960 --web-security=false --proxy={0} phantom.js 这样写貌似是有缓存文件了。

可是实际发现,实际上 phantomjs xx.js 会在当前用户目录下产生隐藏的缓存文件!

centos 下是 /home/delphi/.local/share/Ofi Labs/PhantomJS

记录一下, 以益后人。

© 著作权归作者所有

共有 人打赏支持
明月惊鹊
粉丝 24
博文 58
码字总数 12982
作品 0
广州
高级程序员
加载中

评论(3)

明月惊鹊
明月惊鹊
用phantomjs 2.1 来render过gif, 貌似没有你说的这个情况啊。 百度统计是纯js操作dom啊,phantomjs应该是支持这种情况的,我以前爬别人的网站的时候页面里多数都是ajax动态加载、动态插入节点
supmain
supmain
然后我看下百度统计的代码,就是 s.parentNode.insertBefore(hm,s) 这句出了问题,我删了这句就没问题,不知道phantomjs是不是不支持dom一类的操作,然后报错了?但是page.onError没有接收到报错信息啊,感觉是个bug。
supmain
supmain
博主你好,我用phantomjs生成pdf,当访问的网站有百度统计的代码时,类似:<script type="text/javascript">var _hmt=_hmt||[];(function(){var hm=document.createElement("script").....,page.rend( 绝对路径+'my.pdf' ) 渲染会返回false,就是生成文件会失败,但是我通过控制台发现,phantomjs确实访问了url,就是生成失败了。然后我删除百度统计的代码,去掉script标签,render就会返回true,也就是生成pdf文件成功了。实在是费解。。。
ubuntu 安装phantomjs、chromedriver、geckodriver

一、安装phantomjs 1.从官网下载http://phantomjs.org/download.html 2.加压 tar -zxvf phantomjs-2.1.1-linux-x86_64.tar.bz2 3.mv phantomjs-2.1.1-linux-x86_64 /usr/local/share/phanto......

littlemesieV ⋅ 04/18 ⋅ 0

[问题解决] Selenium+PhantomJS使用时报错原因及解决方案

在做动态网页爬虫时用到了selenium + PhantomJS,安装好之后运行时报错: 说是 Selenium 已经弃用 PhantomJS ,请使用火狐或者谷歌无界面浏览器。 查找之后得到答案时selenium的版本问题,使用p...

Eappo_Geng ⋅ 06/13 ⋅ 0

ELK 实验(七)Elasticsearch 集群管理

Head 插件 head插件是一个elasticsearch的集群管理工具,它是完全由html5编写的独立网页程序。 Github: https://github.com/mobz/elasticsearch-head git clone https://github.com/mobz/e...

pcdog ⋅ 04/20 ⋅ 0

Node/PhantomJS爬虫 - Jedi-Crawler

Jedi-Crawler 是一款轻量级 Node/PhantomJS爬虫,可以动态的抓取网页内容。 安装: npm install jedi-crawler 示例代码: var jedi = require('./modules/jedi.js'),fs = require('fs'); //...

匿名 ⋅ 2016/07/27 ⋅ 0

搭建 vue2 单元测试环境(karma+mocha+webpack3)

从网上找了很多例子关于单元测试,都是如何新建项目的时候的添加单元测试,用vue-cli中怎么添加,但是我的项目已经生成了,不能再一次重新初始化,这时如何添加单元测试,这里面遇到了好多坑...

mgbq ⋅ 05/23 ⋅ 0

PhantomJS的example介绍

PhantomJS安装目录下的example简单介绍 cmd命令窗口进入相应路径下使用phantomjs xxx.js命令 这里介绍几个效果比较明显的,具体代码这里不做描述 1.colorwheel.js 会生成一个colorwheel图片 ...

anlve ⋅ 01/22 ⋅ 0

开源自动化测试解决方案 - AutoLine

AutoLine开源平台 AutoLine开源平台是一个开源自动化测试解决方案,基于 RobotFramework 进行二次开发,支持 RobotFramework 几乎所有的库。 特色 支持 Mac、Linux、Windows 平台 支持 Chro...

苦叶子 ⋅ 05/16 ⋅ 0

手把手教你写网络爬虫(1):网易云音乐歌单

原文出处:拓海 大家好,《手把手教你写网络爬虫》连载开始了!在笔者的职业生涯中,几乎没有发现像网络爬虫这样的编程实践,可以同时吸引程序员和门外汉的注意。本文由浅入深的把爬虫技术和...

拓海 ⋅ 04/27 ⋅ 0

Vant 1.1.0 发布,有赞轻量级移动端 Vue 组件库

Vant 1.1.0 已发布,更新如下: 改进 新增 Slider 滑块组件 #897 #915 新增 BEM mixin,规范 BEM 命名格式 #921 #924 #932 #934 Cell: 优化 flex 结构 #919 Panel: 优化结构,使用 Cell 代替...

王练 ⋅ 04/26 ⋅ 0

[原创]手把手教你写网络爬虫(5):PhantomJS实战

原文出处:拓海 大家好!从今天开始,我要与大家一起打造一个属于我们自己的分布式爬虫平台,同时也会对涉及到的技术进行详细介绍。大家如果有什么好的想法请多留言,多提意见,一起来完善我...

拓海 ⋅ 05/06 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

Jenkins实践3 之脚本

#!/bin/sh# export PROJ_PATH=项目路径# export TOMCAT_PATH=tomcat路径killTomcat(){pid=`ps -ef | grep tomcat | grep java|awk '{print $2}'`echo "tom...

晨猫 ⋅ 今天 ⋅ 0

Spring Bean的生命周期

前言 Spring Bean 的生命周期在整个 Spring 中占有很重要的位置,掌握这些可以加深对 Spring 的理解。 首先看下生命周期图: 再谈生命周期之前有一点需要先明确: Spring 只帮我们管理单例模...

素雷 ⋅ 今天 ⋅ 0

zblog2.3版本的asp系统是否可以超越卢松松博客的流量[图]

最近访问zblog官网,发现zlbog-asp2.3版本已经进入测试阶段了,虽然正式版还没有发布,想必也不久了。那么作为aps纵横江湖十多年的今天,blog2.2版本应该已经成熟了,为什么还要发布这个2.3...

原创小博客 ⋅ 今天 ⋅ 0

聊聊spring cloud的HystrixCircuitBreakerConfiguration

序 本文主要研究一下spring cloud的HystrixCircuitBreakerConfiguration HystrixCircuitBreakerConfiguration spring-cloud-netflix-core-2.0.0.RELEASE-sources.jar!/org/springframework/......

go4it ⋅ 今天 ⋅ 0

二分查找

二分查找,也称折半查找、二分搜索,是一种在有序数组中查找某一特定元素的搜索算法。搜素过程从数组的中间元素开始,如果中间元素正好是要查找的元素,则搜素过程结束;如果某一特定元素大于...

人觉非常君 ⋅ 今天 ⋅ 0

VS中使用X64汇编

需要注意的是,在X86项目中,可以使用__asm{}来嵌入汇编代码,但是在X64项目中,再也不能使用__asm{}来编写嵌入式汇编程序了,必须使用专门的.asm汇编文件来编写相应的汇编代码,然后在其它地...

simpower ⋅ 今天 ⋅ 0

ThreadPoolExecutor

ThreadPoolExecutor public ThreadPoolExecutor(int corePoolSize, int maximumPoolSize, long keepAliveTime, ......

4rnold ⋅ 昨天 ⋅ 0

Java正无穷大、负无穷大以及NaN

问题来源:用Java代码写了一个计算公式,包含除法和对数和取反,在页面上出现了-infinity,不知道这是什么问题,网上找答案才明白意思是负的无穷大。 思考:为什么会出现这种情况呢?这是哪里...

young_chen ⋅ 昨天 ⋅ 0

前台对中文编码,后台解码

前台:encodeURI(sbzt) 后台:String param = URLDecoder.decode(sbzt,"UTF-8");

west_coast ⋅ 昨天 ⋅ 0

实验楼—MySQL基础课程-挑战3实验报告

按照文档要求创建数据库 sudo sercice mysql startwget http://labfile.oss.aliyuncs.com/courses/9/createdb2.sqlvim /home/shiyanlou/createdb2.sql#查看下数据库代码 代码创建了grade......

zhangjin7 ⋅ 昨天 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部