模拟搜索引擎(蜘蛛)抓取页面

原创
2017/09/07 00:07
阅读数 1.7K
本工具使用Google推荐的lynx浏览器做为模拟搜索引擎(蜘蛛)抓取页面的工具。 使用诸如 Lynx 的文本浏览器来检查您的网站,因为大多数搜索引擎信息采集软件查看您网站的方式与 Lynx 几乎一样。如果诸如 Javascript、Cookie、会话 ID、框架、DHTML 或 Flash 等复杂功能造成您无法在文本浏览器中看到整个网站,则搜索引擎信息采集软件在抓取您的网站时可能会遇到问题。 http://lynx.itlearner.com/
展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部