良玉的博客 点点滴滴,积水成河_良玉的博客_页游、手游linux运维工程师之路

php使用curl和正则表达式抓取网页数据

php也可以抓取网页数据,虽然性能上,个人感觉太慢还浪费资源,但是看你怎么去使用了。

利用curl和正则表达式做的一个针对磨铁中文网非vip章节的小说抓取器,支持输入小说ID下载小说。
依赖项:curl
可以简单的看下,里面用到了curl ,正则表达式,ajax等技术,适合新手看看。在本地测试,必须保证联网并且确保php开启curl的mode

SpiderTools.class.php 

<a data="7981

阅读全文...

php使用curl post 发送url 并解决中文乱码问题

发送的指定网址的url参数,中文总是乱码,指定网址是utf8编码的,我发送的也是utf8编码的。但是还是乱码,开始用的file_get_contents,后来换成curl并在php.ini中开启了php_curl,还是不行,有加了header终于解决。代码如下:


$url = 'http://';  //调用接口的平台服务

阅读全文...

linux curl

-a/--append 上传文件时,附加到目标文件
 -A/--user-agent <string>  设置用户代理发送给服务器
 - anyauth   可以使用“任何”身份验证方法
 -b/--cookie <name=string/file> cookie字符串或文件读取位置
 - basic 使用HTTP基本验证
 -B/--use-ascii 使用ASCII /文本传输
 -c/--cookie-jar <file> 操作结束后把cookie写入到这个文件中
 -C/--continue-at <offset>  断点续转
 -d/--data <data>   HTTP POST方式传送数据
 --data-ascii <data>  以ascii的方式post数据
 --data-binary <data> 以二进制的方式post数据
 --negotiate     使用HTTP身份验证


阅读全文...

标签: linuxcurl

作者:良玉 分类:Linux 浏览:688 评论:0

Linux终端使用curl来post数据,数据格式为json

Linux终端使用curl来post数据,数据格式为json:

/usr/bin/curl --connect-timeout 15  -H "Content-Type: application/json" -sd '{"data":"data"}' http://aaa.com/aaa


-a/--append 上传文件时,附加到目标文件
 -A/--user-agent <string>  设置用户代理发送给服务器
 - anyauth   可以使用“任何”身份验证方法
 -b/--cookie <name=string/file> cookie字符串或文件读取位置
 - basic 使用HTTP基本验证


阅读全文...