爬虫基础教程使用 PHP 和正则表达式解析HTML

什么是爬虫?

爬虫是一种自动化提取网络信息的程序。通过分析网页代码，自动化收集有用的信息，并将这些信息存储在单个文件或数据库中。

//Python 代码实例
import requests
from bs4 import BeautifulSoup

url = "https://www.example.com/"
r = requests.get(url)

soup = BeautifulSoup(r.text, "html.parser")
print(soup.prettify())

上面的代码使用 Python 编写，导入了 requests 和 BeautifulSoup 库。通过向 requests 库传递一个 URL，获取网页信息，然后将其传递给 BeautifulSoup 库进行解析。这个过程中，我们可以打印出 prettify() 方法来查看解析后的 HTML 代码。

使用PHP和正则表达式解析HTML

在 PHP 中使用正则表达式可以轻松地解析 HTML 代码。我们可以使用 preg_match() 或 preg_match_all() 函数来搜索和匹配 HTML 标记。

//PHP 代码实例
$html = '
Example HTML
Example Link
';
$pattern = '/<[a-zA-Z]+.*?>(.*?)<\/[a-zA-Z]+>/';
preg_match_all($pattern, $html, $matches);

print_r($matches[0]); // 输出 HTML 标记
print_r($matches[1]); // 输出 HTML 文本

上面的代码定义一个包含 HTML 代码的字符串，然后使用 preg_match_all() 函数来搜索和匹配 HTML 标记。该函数使用 $pattern 参数来定义用于搜索的正则表达式。$matches 数组包含了所有匹配到的 HTML 标记和文本。

将解析后的数据存储在数据库中

一旦解析完成，通常需要将数据存储在数据库中以供后续处理使用。在 PHP 中，可以轻松地使用 MySQLi 或 PDO 库来连接数据库并执行存储操作。

//PHP 代码实例
$conn = new mysqli("localhost", "username", "password", "database_name");

if ($conn->connect_error) {
    die("Connection failed: " . $conn->connect_error);
}

$sql = "INSERT INTO example_table (title, content) VALUES ('Example Title', '
Example Content
')";
if ($conn->query($sql) === TRUE) {
    echo "New record created successfully";
} else {
    echo "Error: " . $sql . "
" . $conn->error;
}

$conn->close();

上面的代码使用 MySQLi 库来连接数据库，并使用 INSERT INTO 语句将数据存储到数据库的表格中。

了解爬虫规则与伦理

爬虫可以自动化地收集网站信息，但需要遵守一些准则和规则来确保不会对网站造成损害。爬虫开发者应该遵守以下准则：

• 遵循 robots.txt 文件，以避免爬取被禁止的页面。
• 爬取数据时必须符合本地法律和法规。
• 不要使用恶意代码或攻击网站。
• 确保不要过度爬取，以避免对网站造成负面影响。

遵守这些准则将有助于确保数据爬取不会对网站造成伤害，并为所有相关方创造公平、安全的环境。