python urllib模块的使用方法

Python Urllib模块的使用方法

Urllib是Python中一个用来处理HTTP请求的库，它有四个模块：urllib.request、urllib.error、urllib.parse和urllib.robotparser。这四个模块提供了一个完整的浏览器操作过程，比如：发送请求、处理响应等。下面我们来介绍一下Urllib模块的使用方法。

1.发送HTTP请求

使用Urllib发送HTTP请求需要使用urllib.request模块的urlopen()函数，该函数可以接收一个URL参数和一个可选参数data。如果data参数有值，则会将数据通过POST方式提交给服务器。下面是一个使用Urllib发送HTTP GET请求的例子：

      import urllib.request

      url='http://www.baidu.com/'
      response=urllib.request.urlopen(url)
      print(response.read().decode('utf8'))

2.处理HTTP响应

使用Urllib处理HTTP响应需要先获取响应对象，然后通过它的一些方法来进行处理。响应对象可以通过urlopen()函数返回的结果来获取。下面是一个使用Urllib处理HTTP响应的例子：

      import urllib.request

      url='http://www.baidu.com/'
      response=urllib.request.urlopen(url)
      print(response.status)  # 输出200
      print(response.getheaders())  # 输出响应的头部信息
      print(response.read().decode('utf8'))

3.处理HTTP错误

如果在请求过程中出现错误，Urllib会抛出一个HTTPError异常，这个异常包含一个reason属性，它可以给出错误的原因。可以通过捕获这个异常来处理错误。下面是一个使用Urllib处理HTTP错误的例子：

      import urllib.request
      import urllib.error

      url='http://www.404.com/'  # 不存在的URL
      try:
          response=urllib.request.urlopen(url)
      except urllib.error.HTTPError as e:
          print(e.reason)  # 输出 Not Found

4.使用代理服务器

使用Urllib发送HTTP请求时，可以通过使用代理服务器来隐藏客户端的IP地址。Urllib支持HTTP代理、SOCKS代理、HTTPS代理等不同类型的代理服务器。下面是一个使用代理服务器的例子：

      import urllib.request

      url='http://www.baidu.com/'
      proxy_handler=urllib.request.ProxyHandler({'http': 'http://127.0.0.1:8087'})
      opener=urllib.request.build_opener(proxy_handler)
      response=opener.open(url)
      print(response.read().decode('utf8'))

以上是一些Urllib的常用使用方法，还有更多的细节和API可以去官方文档中查看。总的来说，Urllib是一个功能强大、易于使用的HTTP请求库。