文档章节

Linux curl命令参数详解

大糊涂
 大糊涂
发布于 2015/07/03 22:01
字数 504
阅读 929
收藏 33
一、Linux curl用法举例:
1. linux curl抓取网页:

抓取百度:

curl http://www.baidu.com

如发现乱码,可以使用iconv转码:

curl http://iframe.ip138.com/ic.asp|iconv -fgb2312

iconv的用法请参阅:在Linux/Unix系统下用iconv命令处理文本文件中文乱码问题

2. Linux curl使用代理

linux curl使用http代理抓取页面:

curl -x 111.95.243.36:80 http://iframe.ip138.com/ic.asp|iconv -fgb2312

curl -x 111.95.243.36:80 -U aiezu:password http://www.baidu.com

使用socks代理抓取页面:

curl --socks4 202.113.65.229:443 http://iframe.ip138.com/ic.asp|iconv -fgb2312

curl --socks5 202.113.65.229:443 http://iframe.ip138.com/ic.asp|iconv -fgb2312

代理服务器地址可以从爬虫代理上获取。


3. linux curl处理cookies

接收cookies:

curl -c /tmp/cookies http://www.baidu.com #cookies保存到/tmp/cookies文件

发送cookies:

curl -b "key1=val1;key2=val2;" http://www.baidu.com #发送cookies文本

curl -b /tmp/cookies http://www.baidu.com #从文件中读取cookies

4. linux curl发送数据:

linux curl get方式提交数据:

curl -G -d "name=value&name2=value2" http://www.baidu.com

linux curl post方式提交数据:

curl -d "name=value&name2=value2" http://www.baidu.com #post数据

curl -d a=b&c=d&txt@/tmp/txt http://www.baidu.com  #post文件

以表单的方式上传文件:

curl -F file=@/tmp/me.txt http://www.aiezu.com

相当于设置form表单的method="POST"和enctype='multipart/form-data'两个属性。


5. linux curl http header处理:

设置http请求头信息:

curl -A "Mozilla/5.0 Firefox/21.0" http://www.baidu.com #设置http请求头User-Agent

curl -e "http://pachong.org/" http://www.baidu.com #设置http请求头Referer

curl -H "Connection:keep-alive \n User-Agent: Mozilla/5.0" http://www.aiezu.com

设置http响应头处理:

curl -I http://www.aiezu.com #仅仅返回header

curl -D /tmp/header http://www.aiezu.com #将http header保存到/tmp/header文件

6. linux curl认证:

curl -u aiezu:password http://www.aiezu.com #用户名密码认证

curl -E mycert.pem https://www.baidu.com #采用证书认证

6. 其他:

curl -# http://www.baidu.com #以“#”号输出进度条

curl -o /tmp/aiezu http://www.baidu.com #保存http响应到/tmp/aiezu


 


本文转载自:http://www.aiezu.com/system/linux/linux_curl_syntax.html

大糊涂
粉丝 15
博文 83
码字总数 5504
作品 0
渝中
其他
私信 提问
Linux curl命令get/post提交数据、json和上传文件全攻略

Http协议支持:GET、HEAD、PUT、DELETE、POST、OPTIONS等6种请求方法;在这里我们通过linux curl命令,介绍其中的两种请求方法:GET、POST;使用linux curl命令通过GET、POST命令提交数据、使...

echojson
04/05
0
0
通过shell存储网页到memcache

memcached最大能保存1M的数据,因此对于小的文本文件是完全可行的。 脚本函数如下,将天气预报网的某城市JSON数据保存到memcache中: function cacheData(){expir=18000mem='10.10.10.10'tmp...

cwalet
2013/06/14
0
0
《CURL技术知识教程》系列分享专栏

《CURL技术知识教程》已整理成PDF文档,点击可直接下载至本地查阅 https://www.webfalse.com/read/201737.html 文章 PHP采集相关教程之一 CURL函数库 php中通过curl模拟登陆discuz论坛的实现...

开元中国2015
2018/11/06
0
0
Unix/Linux下安装NPM

就像NPM的官网(http://npmjs.org/)上介绍的那样,安装NPM仅仅是一行命令的事情: curl http://npmjs.org/install.sh | sh 这里详解一下这句命令的意思,curl http://npmjs.org/install.sh是...

durban
2012/04/09
0
0
Linux的curl命令参数详解

Linux运维常用软件 Curl是Linux下一个很强大的http命令行工具,其功能十分强大。linux curl是通过url语法在命令行下上传或下载文件的工具软件,它支持http,https,ftp,ftps,telnet等多种协议,...

成越
2016/08/08
48
0

没有更多内容

加载失败,请刷新页面

加载更多

ES 集群上,业务单点如何优化升级?

摘要: 原创出处 https://www.bysocket.com 「公众号:泥瓦匠BYSocket 」欢迎关注和转载,保留摘要,谢谢! ES 基础 ES 集群 ES 集群上业务优化 一、ES 基础 ES 的安装下载,网上一大片,我这...

泥瓦匠BYSocket
9分钟前
0
0
input accept属性限制文件上传格式

上传文件的类型;具体做法如下所示: 注意:accept属性可以限制上传格式,其有兼容性如下 《1》上传.csv格式的 <input text="file" accept=".csv" /> 《2》上传.xls格式 <input text="file"......

Jack088
16分钟前
1
0
阿里开发者招聘节 | 面试题01:如何实现一个高效的单向链表逆序输出?

面试,如同玩一场饥饿游戏:既要对环境了然于胸,又要对自身心知肚明。发现一个好工作不容易,但成功应聘又会面临一系列的挑战。 为帮助开发者们提升面试技能、有机会入职阿里,云栖社区特别...

阿里云云栖社区
27分钟前
2
0
使用scp命令在多个Linux系统间进行文件复制

一,什么是scp scp是linux系统下基于ssh登陆进行安全的远程文件拷贝命令。scp命令可以在linux服务器之间复制文件和目录.scp使用ssh安全协议传输数据,具有和ssh一样的验证机制,从而安全的远...

老孟的Linux私房菜
28分钟前
0
0
CentOS7中ESL服务部署记录

在CentOS7上部署价签系统,需要安装Mysql,Redis,emqtt,jdk。 1)Mysql,参考 2)Redis,参考 3)emqtt,参考 4)jdk,参考 在jdk的下载地址中,下载rpm文件,通过ftp上传到虚拟机后,通过...

莫在全
31分钟前
0
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部