Python爬虫中Requests实现get请求的案例

Requests库简介

Requests是Python中最广泛使用的第三方库之一，用于HTTP请求。它的设计非常简单，易于使用，同时还具有互换性，可以与许多其他HTTP库和工具集成。

要使用Requests库，只需使用pip安装：

pip install requests

GET请求的案例

GET请求是从服务器请求数据的最常见方式。下面是一个使用Requests库进行GET请求的简单案例：

import requests

url = 'https://www.example.com'
response = requests.get(url)

print(response.content)

上述代码使用Requests库获取URL https://www.example.com 的响应。可以通过response.content访问响应的内容。

传递URL参数

GET请求通常需要URL参数，以指定请求的特定数据。Requests库允许您通过将参数添加到请求中来传递这些参数：

import requests

url = 'https://www.example.com'
params = {'key1': 'value1', 'key2': 'value2'}
response = requests.get(url, params=params)

print(response.url)

上述代码将参数添加到请求中，并使用response.url属性打印完整的请求URL。

设置请求头

有时，网站可能会要求您提供特定的请求头才能成功获取响应。在这种情况下，您可以使用Requests库设置自定义请求头：

import requests

url = 'https://www.example.com'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:89.0) Gecko/20100101 Firefox/89.0'}
response = requests.get(url, headers=headers)

print(response.content)

上述代码设置了自定义User-Agent请求头，并使用response.content属性访问响应的内容。

总结

本文介绍了如何使用Requests库执行GET请求。您现在了解了如何向请求中传递参数，以及如何设置自定义请求头。使用这些技术，您可以编写更复杂的爬虫代码，以获取和分析互联网上的包含大量数据的网站。