文档章节

wget

langke
 langke
发布于 2016/08/03 17:19
字数 1677
阅读 12
收藏 0
Wget支持 HTTP, HTTPS, FTP和HTTP代理。
特性:
1.非交互式,意味着wget可以在一直后台运行,用户甚至无需登录。
2.wget可以追踪HTML,XHTML,CSS中的链接,从而方便的创建站点的本地镜像。
3.支持通配符,支持时间戳
4.健壮的设计使其可以在缓慢或不稳定的网络中使用。
5.支持使用代理。
6.支持IPV6(需编译时加入支持)
7.内建特性提供微调机制让你下载到你想要的连接。
8.几乎所有这些特性都是可配置的,通过命令行参数或配置文件
9.wget是自由,每个人都可以在GPL框架下使用,修改和再发布

调用: wget [OPTION]... [URL]...
1.URL格式 :
http://host[:port]/directory/file
ftp://host[:port]/directory/file
或者在URL中使用 用户名和密码:
ftp://user:password@host/path
http://user:password@host/path
(这种做法不安全,其它用户可以用ps命令看到用户名 密码!)
对于ftp,wget支持类型设置:type=a (ascii 模式,‘i' 二进制模式) 
ftp://host/directory/file;type=a
2.基本选项 :
-V(--version): 打印版本
-h(--help):      打印帮助
-b(--backgroud): 启动后在后台运行,默认output重定向到wget-log,可以通过-o 指定。
-e(--execute): 运行命令,如同在.wgetrc中的命令一样,但在.wgetrc所有命令之后运行
3.日志和输入文件选项
-o LOGFILE(--output-file=LOGFILE): 记录所有消息至LOGFILE中
-a LOGFILE(--append-output=LOGFILE):添加日志至LOGFILE中
-d(--debug):打开调试模式(需编译时添加debug支持)
-q(--quiet):关闭输出
-v(--verbose):冗余输出(默认)
-nv(--no-verbose): 关闭冗余输出
-i FILE(--input-file=FILE):从本地或外部文件中读URLS,本地文件使用--force-html强制作为html文件处理,外部文件自动当作html
-F(--force-html): 当从文件输入时,将文件当作html处理
-B URL(--base=URL): 解析相对链接时,使用URL作为参考点(可与-i配合使用)
3下载选项:
--bind-address=ADDRESS: 绑定地址
-t NUMBER(--tries=NUMBER): 设置重试次数,0或inf为无限次,默认20次,"connection refused" or "not found"除外。
-O FILE(--output-document=FILE): 所有下载文件均写入FILE中。
-nc(--no-clobber):加入此选项则当下载同一文件时,wget拒绝下载新版
-c(--continue): 当前目录下有不完整的文件时,断点续传之。
--progress=TYPE:设置进度显示格式,有dot和bar两种。
-N(--timestamping): 打开时间戳功能。
-S(--server-response): 打印HTTP服务器发送的头信息或FTP服务器的响应。
--spider: 只检查文件是否存在,不下载(类似web spider)。
-T seconds(--timeout=seconds): 设置超时时间,相当于同时设置`--dns-timeout', `--connect-timeout', 和`--read-timeout'
--dns-timeout=SECONDS:设置dns解析超时时间
--connect-timeout=SECONDS:设置连接超时时间
--read-timeout=SECONDS:设置空闲超时时间
--limit-rate=AMOUNT:下载速度限制
-w SECONDS(--wait=SECONDS):设置下载时间间距
--waitretry=SECONDS:设置错误重试时间间隔
--random-wait:设置等待时间为0.5至1.5*WAIT seconds间的随机值
--no-proxy:不使用代理
-Q QUOTA(--quota=QUOTA):设置下载配额。
--no-dns-cache:不使用dns缓存,即每次连接重新要求解析
--restrict-file-names=MODES:设置本地保存文件名的格式。
-4(--inet4-only):只用ipv4
-6(--inet6-only):只用ipv6
--prefer-family=none/IPv4/IPv6:设置首选类型。
--retry-connrefused:设置当connection refused时重试
--user=USER --password=PASSWORD指定用户名,密码。(不安全!)
--ask-password:每个连接弹出密码输入框。
--no-iri:关闭internationalized URI(IRI)支持,用--iri打开(默认)
--local-encoding=ENCODING:设置本地编码,供wget由本地URLS参数转至UTF-8时使用
--remote-encoding=ENCODING:设置远程编码,供wget转换远端编码至UTF-8时使用。
4.目录选项
-nd(--no-directories):不创建分层目录(所有文件都下至当前目录)
-x(--force-directories):与-nd相反,强制创建下载目录
-nH(--no-host-directories):不创建以主机为前缀的目录。
--protocol-directories:使用协议名称组成本地目录名
--cut-dirs=NUMBER:减去NUMBER个目录作为目录名
-P PREFIX(--directory-prefix=PREFIX): 文件下载至PREFIX
5,HTTP选项
--default-page=NAME:使用NAME作为默认主页名
-E(--adjust-extension):本地存储文件时加.html后缀
--http-user=USER --http-password=PASSWORD:
--no-http-keep-alive:关闭keep alive功能
--no-cache:关闭服务器端的缓存功能
--no-cookies:不使用cookies
--load-cookies FILE:从FILE加载饼干
--save-cookies FILE:保存饼干至FILE
--keep-session-cookies:保存会话饼干,与上个选项一起用
--ignore-length:忽略HTTP头中的Content-Length内容
--header=HEADER-LINE:构造HTTP头
--max-redirect=NUMBER:指定最大重定向数目
--proxy-user=USER --proxy-password=PASSWORD
--referer=URL:在HTTP头中包含Referer: URL
--save-headers:保存HTTP服务器发送的报头
-U AGENT-STRING(--user-agent=AGENT-STRING):设置用户标示
--post-data=STRING --post-file=FILE:使用POST方法发送STRING或FILE中的内容(key1=value1&key2=value2格式)
--content-disposition:试验性的支持Content-Disposition头
--auth-no-challenge:让wget发送基本HTTP认证信息
6.HTTPS(SSL/TLS)选项
--secure-protocol=PROTOCOL : 选择安全协议类型(auto,SSLv2,SSLv3,TLSv1)
--no-check-certificate:不检查证书
--certificate=FILE:指定客户端证书
--certificate-type=TYPE:指定客户端证书类型
--private-key=FILE:从FILE读取私钥
--private-key-type=TYPE:指定私钥类型
--ca-certificate=FILE:指定CA文件
--ca-directory=DIRECTORY:指定CA文件所在目录
--random-file=FILE:在没有/dev/random文件的系统上,使用FILE作为随机数的源
--egd-file=FILE:使用FILE作为EGD套接字
7.FTP选项
--ftp-user=USER --ftp-password=PASSWORD
--no-remove-listing:不移除临时文件.listing
--no-glob:关闭FTP多文件获取功能(使用通配符)
--no-passive-ftp:关闭被动FTP模式
--retr-symlinks:下载链接指向的文件,而不是链接文件本身
8.递归下载
-r(--recursive):打开递归下载功能
-l DEPTH(--level=DEPTH):设置下载目录深度
--delete-after:每个文件下载后即删除
-k(--convert-links):下载完毕后,转换链接为相对链接
-K(--backup-converted):当转换连接时,保留原始备份为.orig
-m(--mirror):镜像下载,相当于同时打开-r -N -l inf --no-remove-listing
-p(--page-requisites):下载单页面所需的所有元素
--strict-comments:打开严格HTML注释解析
9.递归下载时的接受/拒绝选项
-A ACCLIST(--accept ACCLIST):指定接受的文件(逗号隔开的后缀名,或句式)
-R REJLIST --reject REJLIST:拒绝文件名单
-D DOMAIN-LIST(--domains=DOMAIN-LIST):设置追随的域名(逗号隔开)
--exclude-domains DOMAIN-LIST:设置不追随的域名
--follow-ftp:在HTML文档中追踪FTP
--follow-tags=LIST:设置追踪的tag
--ignore-tags=LIST:设置忽略的tag
--ignore-case:匹配文件或目录时忽略大小写
-H(--span-hosts):递归下载时,允许垮主机
-L(--relative):只追踪相对链接
-I LIST(--include-directories=LIST):设置追踪目录(逗号隔开,可含通配符)
-X LIST(--exclude-directories=LIST): 排除的追踪目录
-np(--no-parent):不进入父母录

本文转载自:http://www.cnblogs.com/langke93/archive/2011/03/17/2217391.html

langke
粉丝 1
博文 70
码字总数 3645
作品 0
架构师
私信 提问

暂无文章

前嗅教程:如何获取精准客源,提高销量

经常有人问嗅嗅,我是XX行业的,大数据能帮我做什么? • 可以给我带来客源吗? • 可以提高我的销量吗? • 可以增加我的利润吗? 今天嗅嗅就以生鲜供货为例,为大家讲一讲外卖平台那些事~...

forespider
25分钟前
1
0
浮窗插件

<!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>移动窗口</title> <style> body { margin: 0; padding: 0; width: 100%; height: 1000px; background: #eee; } /*示......

流年那么伤
29分钟前
2
0
关于 Jenkins master 共享 JENKINS_HOME 目录的实验

本文首发于:Jenkins 中文社区 作者:翟志军 审校:王冬辉,linuxsuren Jenkins master 的高可用是个老大难的问题。和很多人一样,笔者也想过两个 Jenkins master 共享同一个 JENKINS_HOME 的...

Jenkins中文社区
37分钟前
3
0
【重构】Spring Cloud OAuth 无Token调用源码封装

背景 重构-改善既有代码的设计,重构的目的是是软件更容易被理解和修改。 书接上回Spring Security OAuth 微服务内部Token传递的源码解析,本篇主要无token 调用过程中,代码的不断完善及其重...

冷冷gg
43分钟前
26
0
watchOS更新后 Apple Watch 4心电图功能已开始支持欧洲用户

苹果在发布 Apple Watch 4 系列时也发布了 ECG(心电图)功能,但这项功能仅适用于在美版 Apple Watch。对于其他地区的用户来说,访问该功能的唯一途径是在美国购买该设备。不过当 watchOS ...

linuxCool
52分钟前
3
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部