文档章节

php使用pthreads v3多线程的抓取新浪新闻信息

o
 osc_mervd488
发布于 2018/04/23 19:21
字数 557
阅读 9
收藏 0

我们使用pthreads,来写一个多线程的抓取页面小程序,把结果存到数据库里。

数据表结构如下:

CREATE TABLE `tb_sina` (
  `id` int(11) unsigned NOT NULL AUTO_INCREMENT COMMENT 'ID',
  `url` varchar(256) DEFAULT '' COMMENT 'url地址',
  `title` varchar(128) DEFAULT '' COMMENT '标题',
  `time` datetime DEFAULT NULL ON UPDATE CURRENT_TIMESTAMP COMMENT '时间',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COMMENT='sina新闻';

代码如下:

<?php

class DB extends Worker
{
    private static $db;
    private $dsn;
    private $root;
    private $pwd;

    public function __construct($dsn, $root, $pwd)
    {
        $this->dsn = $dsn;
        $this->root = $root;
        $this->pwd = $pwd;
    }

    public function run()
    {
        //创建连接对象
        self::$db = new PDO($this->dsn, $this->root, $this->pwd);

        //把require放到worker线程中,不要放到主线程中,不然会报错找不到类
        require './vendor/autoload.php';
    }

    //返回一个连接资源
    public function getConn()
    {
        return self::$db;
    }
}

class Sina extends Thread
{
    private $name;
    private $url;

    public function __construct($name, $url)
    {
        $this->name = $name;
        $this->url = $url;
    }

    public function run()
    {
        $db = $this->worker->getConn();

        if (empty($db) || empty($this->url)) {
            return false;
        }

        $content = file_get_contents($this->url);
        if (!empty($content)) {
            //获取标题,地址,时间
            $data = QL\QueryList::Query($content, [
                'tit' => ['.c_tit > a', 'text'],
                'url' => ['.c_tit > a', 'href'],
                'time' => ['.c_time', 'text'],
            ], '', 'UTF-8', 'GB2312')->getData();

            //把获取的数据插入数据库
            if (!empty($data)) {
                $sql = 'INSERT INTO tb_sina(`url`, `title`, `time`) VALUES';
                foreach ($data as $row) {
                    //修改下时间,新浪的时间格式是这样的04-23 15:30
                    $time = date('Y') . '-' . $row['time'] . ':00';
                    $sql .= "('{$row['url']}', '{$row['tit']}', '{$time}'),";
                }
                $sql = rtrim($sql, ',');
                $ret = $db->exec($sql);

                if ($ret !== false) {
                    echo "线程{$this->name}成功插入{$ret}条数据\n";
                } else {
                    var_dump($db->errorInfo());
                }
            }
        }
    }
}

//抓取页面地址
$url = 'http://roll.news.sina.com.cn/s/channel.php?ch=01#col=89&spec=&type=&ch=01&k=&offset_page=0&offset_num=0&num=60&asc=&page=';
//创建pool池
$pool = new Pool(5, 'DB', ['mysql:dbname=test;host=192.168.33.226', 'root', '']);

//获取100个分页数据
for ($ix = 1; $ix <= 100; $ix++) {
    $pool->submit(new Sina($ix, $url . $ix));
}

//循环收集垃圾,阻塞主线程,等待子线程结束
while ($pool->collect()) ;
$pool->shutdown();

由于使用到了QueryList,大家可以通过composer进行安装。

composer require jaeger/querylist

不过安装的版本是3.2,在我的php7.2下会有问题,由于each()已经被废弃,所以修改下源码,each()全换成foreach()就好了。

运行结果如下:

数据也保存进了数据库

当然大家也可以再次通过url,拿到具体的页面内容,这里就不做演示了,有兴趣的可以自已去实现。

o
粉丝 0
博文 500
码字总数 0
作品 0
私信 提问
加载中
请先登录后再评论。

暂无文章

树莓派4b + Ubuntu20.04 Server 安装Java8

安装环境: 树莓派4b + Ubuntu20.04 Server 32位 1. 下载jdk https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html 2. 解压 tar -zxvf jdk-8u251-linux-arm32-vf......

SummerGao
19分钟前
9
0
项目实战:Qt+OpenCV图像处理与识别算法平台

若该文为原创文章,未经允许不得转载 原博主博客地址:https://blog.csdn.net/qq21497936 原博主博客导航:https://blog.csdn.net/qq21497936/article/details/102478062 本文章博客地址:h...

红模仿_红胖子
21分钟前
7
0
北京智源大会 | AI + 医疗的下一个十年:从公共卫生预警到人类基因密码破解 道翰天琼认知智能api机器人接口。

医疗事关人身安全,要求极高,容错率极低,因此,知识壁垒和技术壁垒都很高。过去,AI系统更多的是服务于终端,辅助医生诊断、决策。但是,医疗很复杂,直接切入终端问题很多。未来十年,AI+...

jackli2020
25分钟前
11
0
源于HystrixCommandStartStream和RollingCommandMaxConcurrencyStream 的 RxJava demo

其实,最近在工作之余看Hystrix源代码已经有一个多月了, 除了对 HystrixCommandProperties ,HystrixCommand 和AbstractCommand 几个类比较了解以外,其余看山不是山,比较懵, 主要是因为H...

专业写BUG的程序员
28分钟前
16
0
聊聊Java中的异常及处理

前言 在编程中异常报错是不可避免的。特别是在学习某个语言初期,看到异常报错就抓耳挠腮,常常开玩笑说编程1分钟,改bug1小时。今天就让我们来看看什么是异常和怎么合理的处理异常吧! 异常...

良许Linux
32分钟前
9
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部