PHP 网络爬虫基础教程使用 cURL 库访问网站

什么是网络爬虫？

网络爬虫，又称网络蜘蛛，是一种自动获取网页信息的程序。网络爬虫通常用于搜索引擎，自动化测试、数据挖掘等领域。网络爬虫会自动访问网页、提取有用的信息和链接，并将这些信息保存下来。在这个基础教程中，我们将讲解如何使用 cURL 库访问网站。

cURL 库是什么？

cURL 库是一个 C 语言编写的免费跨平台开源软件，它支持在多个模拟环境下进行数据传输。cURL 库可以用于访问网络，支持 HTTP、HTTPS、FTP、SMTP、POP3、TFTP、SCP、TELNET、LDAP 等协议。在我们的 PHP 网络爬虫中，我们将使用 cURL 库进行网络请求和响应的处理。

 // cURL 初始化
$ch = curl_init();
 
// 设置 URL 和其他 cURL 选项
curl_setopt($ch, CURLOPT_URL, "https://www.example.com");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
 
// 抓取 URL 并把它传递给浏览器
$response = curl_exec($ch);
 
// 关闭 cURL 资源，并且释放系统资源
curl_close($ch);

使用 cURL 库访问网站

使用 cURL 库访问网站需要几个步骤：

1. 初始化 cURL，使用 curl_init() 函数, 返回一个 cURL 句柄。

2. 设置 URL 与其他 cURL 选项, 使用 curl_setopt() 函数设置。

3. 抓取 URL 并把它传递给浏览器，使用 curl_exec() 函数执行 cURL 会话。

4. 关闭 cURL 资源，并且释放系统资源，使用 curl_close() 函数关闭 cURL 句柄。

 // cURL 初始化
$ch = curl_init();
 
// 设置 URL 和其他 cURL 选项
curl_setopt($ch, CURLOPT_URL, "https://www.example.com");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
 
// 抓取 URL 并把它传递给浏览器
$response = curl_exec($ch);
 
// 关闭 cURL 资源，并且释放系统资源
curl_close($ch);
 
// 输出响应结果
echo $response;

如何处理 HTTP 请求和响应？

处理 HTTP 请求和响应需要在访问网站前设置请求头，并在接收到响应后解析响应头和响应体。在 cURL 库中，请求头和响应头可以通过 CURLOPT_HTTPHEADER 和 CURLOPT_HEADER 选项设置。当设置了 CURLOPT_HEADER 选项时，响应结果中会包含 HTTP 响应头和响应体。通过解析响应结果，我们可以得到网页的 HTML 代码。

 // 设置请求头
$headers = array('Content-Type: application/json', 'Authorization: Bearer ' . $access_token);
curl_setopt($ch, CURLOPT_HTTPHEADER, $headers);
 
// 将响应头和响应体一并返回
curl_setopt($ch, CURLOPT_HEADER, true);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
 
// 抓取 URL 并把它传递给浏览器
$response = curl_exec($ch);
 
// 获取 HTTP 响应码和响应体
$httpCode = curl_getinfo($ch, CURLINFO_HTTP_CODE);
$headerSize = curl_getinfo($ch, CURLINFO_HEADER_SIZE);
$header = substr($response, 0, $headerSize);
$body = substr($response, $headerSize);
 
// 关闭 cURL 资源，并且释放系统资源
curl_close($ch);
 
// 输出响应结果
echo $body;