PHP7多线程搭建
博客专区 > 孟森 的博客 > 博客详情
PHP7多线程搭建
孟森 发表于7个月前
PHP7多线程搭建
  • 发表于 7个月前
  • 阅读 1142
  • 收藏 29
  • 点赞 0
  • 评论 15

腾讯云 学生专属云服务套餐 10元起购>>>   

一直想写个爬虫,于是就用PHP写了一个,众所周知PHP并不支持多线程,所以爬行效率很低,同时运行10个进程,内存和CPU占用率很高,开大概10个进程爬行,对爬行时间还进行优化,但我的mac pro还是差不多就down掉了。 于是开始采用PHP7结合pthreads多线程工具,经测试,稳定性、效率、内存和cpu的占用各方面都很满意。 下边就介绍PHP7的多线程环境搭建。

安装PHP7

以下所有命令在root用户下执行 下载PHP7,目前最新版本是7.0.3,根据情况自行选择版本,PHP5.4以后的各版本也是支持的。

wget http://ar2.php.net/get/php-7.0.3.tar.gz/from/this/mirror -O php.tar.gz
tar xvfz php.tar.gz
cd php

编译安装。

选项自行选择,可以让PHP多版本共存。但maintainer-zts是必须的,如果只做爬虫,除了curl,其它扩展基本不用安装。遇到无法安装的自行查找解决,例如我安装的时候遇到iconv没有找到,那直接就without了。

./configure --prefix=/usr/local/php7 --without-iconv --enable-maintainer-zts --with-curl
make
make install

安装完成

然后开始安装pthreads。用pecl安装是超级简单的。

cd /usr/local/php7/bin
./pecl install pthreads

安装完成

配置文件

在/usr/local/php7/lib/目录下新建php.ini文件,初始文件可在php源码的根目录找到php.ini-production 然后编辑php.ini,在末尾增加

extension="pthreads.so"

安装完成

查看安装是否成功

运行

/usr/local/php7/bin/php -m

查看模块支持列表,如果有pthreads存在则说明环境创建成功。 或者编辑文件test.php

<?php
$thread = new class extends Thread { 
    public function run() { 
        echo "Hello World\n";
    }
};
$thread->start() && $thread->join();
?>

成功输出Hello World说明成功。 芝麻教程 http://www.web3.xin/

标签: PHP
共有 人打赏支持
粉丝 4
博文 21
码字总数 18396
评论 (15)
羊大仙
这就没啦??我的phpexecl我都不好意思发。。。
老张大哥
不错,我也想玩玩
clouddyy
PHP不适合爬虫
岑臣
能也能推荐
voov
@羊大仙 @clouddyy @岑臣 @孟森
使用pthreads 需要具备哪些理论方面知识?
water6000
你这不是忽悠我们嘛?完了这!靠
mickelfeng
大忽悠啊
rwrqrwr
擦你妹哦, 都不说清楚点
孟森

引用来自“羊大仙”的评论

这就没啦??我的phpexecl我都不好意思发。。。

回复@羊大仙 : phpexecl 不适合操作大数据
鲁迅语录
还是用异步吧
eechen
除了用pthreads多线程,其实PHP还可以用curl_multi并行发起多个请求,没必要开多进程.
https://my.oschina.net/eechen/blog/745224
DOM库用Simple HTML DOM就好.
eechen

引用来自“孟森”的评论

引用来自“羊大仙”的评论

这就没啦??我的phpexecl我都不好意思发。。。

回复@羊大仙 : phpexecl 不适合操作大数据
excel是微软的私有格式,我觉得其实完全可以考虑公共的csv格式,很多数据库工具如MySQL和SQLiteStudio默认都支持这种导出和导入格式,虽然有一定的限制也没有xls强大,但很多时候够用就好.好处是PHP能用内置的fgetcsv和fputcsv在数组和CSV间互转:
array <=fgetcsv|fputcsv=> csv
http://my.oschina.net/eechen/blog/682083
孟森

引用来自“孟森”的评论

引用来自“羊大仙”的评论

这就没啦??我的phpexecl我都不好意思发。。。

回复@羊大仙 : phpexecl 不适合操作大数据

引用来自“eechen”的评论

excel是微软的私有格式,我觉得其实完全可以考虑公共的csv格式,很多数据库工具如MySQL和SQLiteStudio默认都支持这种导出和导入格式,虽然有一定的限制也没有xls强大,但很多时候够用就好.好处是PHP能用内置的fgetcsv和fputcsv在数组和CSV间互转:
array <=fgetcsv|fputcsv=> csv
http://my.oschina.net/eechen/blog/682083
我们目录导入导出都是采用CSV,支持百万千万级别的
dyfire
还是用node吧
添加软件
装了然后呢???
×
孟森
如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
* 金额(元)
¥1 ¥5 ¥10 ¥20 其他金额
打赏人
留言
* 支付类型
微信扫码支付
打赏金额:
已支付成功
打赏金额: