linux curl

项目中所有动作都走接口 每次通过刷新页面调试php太过麻烦 所以通过linux 的curl 实现http的请求 linux curl是通过url语法在命令行下上传或下载文件的工具软件,它支持http,https,ftp,ftps,telnet等多种协议,常被用来抓取网页和监控Web服务器状态。
一、Linux curl用法举例:
1. linux curl抓取网页:
抓取百度:
1
curl http://www.baidu.com
如发现乱码,可以使用iconv转码:
1
curl http://iframe.ip138.com/ic.asp|iconv -fgb2312
iconv的用法请参阅:在Linux/Unix系统下用iconv命令处理文本文件中文乱码问题
2. Linux curl使用代理:
linux curl使用http代理抓取页面:
1
2
curl -x 111.95.243.36:80 http://iframe.ip138.com/ic.asp|iconv -fgb2312
curl -x 111.95.243.36:80 -U aiezu:password http://www.baidu.com
使用socks代理抓取页面:
1
2
curl --socks4 202.113.65.229:443 http://iframe.ip138.com/ic.asp|iconv -fgb2312
curl --socks5 202.113.65.229:443 http://iframe.ip138.com/ic.asp|iconv -fgb2312
代理服务器地址可以从爬虫代理上获取。
3. linux curl处理cookies
接收cookies:
1
curl -c /tmp/cookies http://www.baidu.com #cookies保存到/tmp/cookies文件
发送cookies:
1
2
curl -b "key1=val1;key2=val2;" http://www.baidu.com #发送cookies文本
curl -b /tmp/cookies http://www.baidu.com #从文件中读取cookies
4. linux curl发送数据:
linux curl get方式提交数据:
1
curl -G -d "name=value&name2=value2" http://www.baidu.com
linux curl post方式提交数据:
1
2
curl -d "name=value&name2=value2" http://www.baidu.com #post数据
curl -d a=b&c=d&txt@/tmp/txt http://www.baidu.com  #post文件
以表单的方式上传文件:
1
curl -F file=@/tmp/me.txt http://www.aiezu.com
相当于设置form表单的method="POST"和enctype='multipart/form-data'两个属性。
5. linux curl http header处理:
设置http请求头信息:
1
2
3
curl -A "Mozilla/5.0 Firefox/21.0" http://www.baidu.com #设置http请求头User-Agent
curl -e "http://pachong.org/" http://www.baidu.com #设置http请求头Referer
curl -H "Connection:keep-alive \n User-Agent: Mozilla/5.0" http://www.aiezu.com
设置http响应头处理:
1
2
curl -I http://www.aiezu.com #仅仅返回header
curl -D /tmp/header http://www.aiezu.com #将http header保存到/tmp/header文件
6. linux curl认证:
1
2
curl -u aiezu:password http://www.aiezu.com #用户名密码认证
curl -E mycert.pem https://www.baidu.com #采用证书认证
6. 其他:
1
2
curl -# http://www.baidu.com #以“#”号输出进度条
curl -o /tmp/aiezu http://www.baidu.com #保存http响应到/tmp/aiezu
获取请求的响应时间 加上-o /dev/null -s -w %{time_connect}:%{time_starttransfer}=%{time_total}
linux 使用curl小经验教训:
http请求地址的url要使用""括起来。当有存在多个参数使用&连接时可能会出错。
参考地址:http://www.cnblogs.com/davidwang456/p/4266867.html

php使用curl库进行ssl双向认证

官方文档: http://www.php.net/manual/zh/function.curl-setopt.php#10692 官方举例: 由于业务原因,后台登陆需要使用SSL双向认证,即web服务器有证书,浏览器客户端也需要安装证书 然后这样的话,php接口文件就需要走443端口来访问了 /** * @name ssl Curl Post数据 * @param string $url 接收数据的api * @param string $vars 提交的数据 * @param int $second 要求程序必须在$second秒内完成,负责到$second秒后放到后台执行 * @return string or boolean 成功且对方有返回值则返回 */ function curl_post_ssl($url, $vars, $second=30,$aHeader=array()) { $ch = curl_init(); //curl_setopt($ch,CURLOPT_VERBOSE,'1'); curl_setopt($ch,CURLOPT_TIMEOUT,$second); curl_setopt($ch,CURLOPT_RETURNTRANSFER, 1); curl_setopt($ch,CURLOPT_URL,$url); curl_setopt($ch,CURLOPT_SSL_VERIFYPEER,false); curl_setopt($ch,CURLOPT_SSL_VERIFYHOST,false); curl_setopt($ch,CURLOPT_SSLCERTTYPE,'PEM'); curl_setopt($ch,CURLOPT_SSLCERT,'/data/cert/php.pem'); curl_setopt($ch,CURLOPT_SSLCERTPASSWD,'1234'); curl_setopt($ch,CURLOPT_SSLKEYTYPE,'PEM'); curl_setopt($ch,CURLOPT_SSLKEY,'/data/cert/php_private.pem'); if( count($aHeader) >= 1 ){ curl_setopt($ch, CURLOPT_HTTPHEADER, $aHeader); } curl_setopt($ch,CURLOPT_POST, 1); curl_setopt($ch,CURLOPT_POSTFIELDS,$vars); $data = curl_exec($ch); curl_close($ch); if($data) return $data; else return false; } 参数解释: CURLOPT_TIMEOUT:超时时间 CURLOPT_RETURNTRANSFER:是否要求返回数据 CURLOPT_SSL_VERIFYPEER:是否检测服务器的证书是否由正规浏览器认证过的授权CA颁发的 CURLOPT_SSL_VERIFYHOST:是否检测服务器的域名与证书上的是否一致 CURLOPT_SSLCERTTYPE:证书类型,"PEM" (default), "DER", and"ENG". CURLOPT_SSLCERT:证书存放路径 CURLOPT_SSLCERTPASSWD:证书密码 CURLOPT_SSLKEYTYPE:私钥类型,"PEM" (default), "DER", and"ENG". CURLOPT_SSLKEY:私钥存放路径 由于php的curl只支持pem格式、der、eng格式,而之前生成的是p12的格式,所以需要转换一下 PKCS#12 到 PEM 的转换 openssl pkcs12 -nocerts -nodes -in cert.p12 -out private.pem 验证 openssl pkcs12 -clcerts -nokeys -in cert.p12 -out cert.pem

PHP的curl实现get,post 和 cookie(几个实例)

类似于dreamhost这类主机服务商,是显示fopen的使用 的。使用php的curl可以实现支持FTP、FTPS、HTTP HTPPS SCP SFTP TFTP TELNET DICT FILE和LDAP。curl 支持SSL证书、HTTP POST、HTTP PUT 、FTP 上传,kerberos、基于HTT格式的上传、代理、cookie、用户+口令证明、文件传送恢复、http代理通道就最常用的来说,是基于http的 get和post方法。 代码实现: 1、http的get实现 [php]$ch = curl_init("http://www.domain.com/api/index.php?test=1") ; curl_setopt($ch, CURLOPT_RETURNTRANSFER, true) ; // 获取数据返回 curl_setopt($ch, CURLOPT_BINARYTRANSFER, true) ; // 在启用 CURLOPT_RETURNTRANSFER 时候将获取数据返回 echo $output = curl_exec($ch) ; /* 写入文件 */ $fh = fopen("out.html", 'w') ; fwrite($fh, $output) ; fclose($fh) ; [/php]   http的post实现 [php]<?php $url = 'http://www.domain.com/api/' ; $fields = array( 'lname'=>'justcoding' , 'fname'=>'phplover' , 'title'=>'myapi', 'age'=>'27' , 'email'=>'1353777303@gmail.com' , 'phone'=>'1353777303' ); //$post_data = implode('&',$fields); //open connection $ch = curl_init() ; //set the url, number of POST vars, POST data curl_setopt($ch, CURLOPT_URL,$url) ; curl_setopt($ch, CURLOPT_POST,count($fields)) ; // 启用时会发送一个常规的POST请求,类型为:application/x-www-form-urlencoded,就像表单提交的一样。 curl_setopt($ch, CURLOPT_POSTFIELDS,$fields); // 在HTTP中的“POST”操作。如果要传送一个文件,需要一个@开头的文件名 ob_start(); curl_exec($ch); $result = ob_get_contents() ; ob_end_clean(); echo $result; //close connection curl_close($ch) ; [/php]   3. php的curl传送cookie 两种方式: 一种是自动: [php] curl_setopt($curlHandle, CURLOPT_COOKIEJAR, 'cookie.txt '); //保存 curl_setopt($curlHandle, CURLOPT_COOKIEFILE, 'cookie.txt '); //读取 [/php]   这样COOKIE会自动跟上去. 不过要分两次,一是先访问产生cookie,接着连结才能用cookie 例子: [php] <?php function get_curlcuconent2($filename,$referer) { $cookie_jar = tempnam('./tmp','JSESSIONID'); $ch = curl_init(); curl_setopt($ch, CURLOPT_URL, $filename); curl_setopt($ch, CURLOPT_HEADER, false); curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); //设置文件读取并提交的cookie路径 curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie_jar); $filecontent=curl_exec($ch); curl_close($ch); $ch = curl_init(); $hostname ="www.domain.com"; //$referer="http://www.domain.com/"; curl_setopt($ch, CURLOPT_URL, $filename); curl_setopt($ch, CURLOPT_REFERER, $referer); // 看这里,你也可以说你从google来 curl_setopt($ch, CURLOPT_USERAGENT, "www.domain.com"); //$request = "JSESSIONID=abc6szw15ozvZ_PU9b-8r"; //设置POST参数 //curl_setopt($ch, CURLOPT_POSTFIELDS, $request); // 上面这句,当然你可以说你是baidu,改掉这里的值就ok了,可以实现小偷的功能,$_SERVER['HTTP_USER_AGENT'] //你也可以自己做个 spider 了,那么就伪装这里的 CURLOPT_USERAGENT 吧 //如果你要把这个程序放到linux上用php -q执行那也要写出具体的$_SERVER['HTTP_USER_AGENT'],伪造的也可以 curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_jar); curl_setopt($ch, CURLOPT_HEADER, false);//设定是否输出页面内容 curl_setopt($ch, CURLOPT_GET, 1); // post,get 过去 $filecontent = curl_exec($ch); preg_match_all("/charset=(.+?)[NULL\"\']/is",$filecontent, $charsetarray); if(strtolower($charsetarray[1][0])=="utf-8") $filecontent=iconv( 'utf-8', 'gb18030//IGNORE' , $filecontent); curl_close($ch); return $filecontent; } ?> [/php] 一种自定义: [php] $header[]= 'Accept: image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, application/x-shockwave-flash, text/html, * '. '/* '; $header[]= 'Accept-Language: zh-cn '; $header[]= 'User-Agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 2.0.50727) '; $header[]= 'Host: '.$你的目标HOST; $header[]= 'Connection: Keep-Alive '; $header[]= 'Cookie: '.$你的COOKIE串; curl_setopt($curlHandel,CURLOPT_HTTPHEADER,$header); [/php]