爬取新浪新闻的 PHP 爬虫实战

PHP Web 爬虫介绍

PHP Web 爬虫是一个可以模拟浏览器行为，自动抓取网页内容并解析的程序。通过 PHP 语言的编写，爬虫可以自动化的获取网站数据，如新闻、图片、视频等，并将该数据进行分析与处理，生成所需的报表、文章等。和 Python 的 Requests 和 Beautiful Soup 模块类似，PHP 的 Web 爬虫同样需要第三方插件的支持。

// 安装第三方插件 GuzzleHttp
require_once __DIR__ . '/vendor/autoload.php';
 
// 创建 GuzzleHttp 客户端对象
$client = new \GuzzleHttp\Client();
 
// 请求网站
$res = $client->request('GET', 'https://www.example.com');
 
// 输出响应数据
echo $res->getStatusCode();
echo $res->getBody();

爬虫执行流程

爬虫执行主要包括以下几个步骤：1、请求 URL 获取网页源代码；2、解析网页源代码，获取所需数据；3、将所需数据存储到数据库或输出至文件。对于新浪新闻网站的爬虫，由于新浪新闻的页面结构比较固定，以及文章详情页的 URL 规则一致，所以在编写爬虫时，可以采用如下实现流程。

// 请求新浪新闻页面
$url = 'http://www.sina.com.cn/';
$html = file_get_contents($url);
 
// 解析页面获取新闻链接
$pattern = '/(.*?)<\/a>/';
preg_match_all($pattern, $html, $matches[]);
 
// 请求新闻链接获取新闻详情
foreach ($matches as $match) {
  $news_url = $match[1];
  $news_html = file_get_contents($news_url);
 
  // 解析获取新闻标题、内容、时间等数据
  $pattern = '/