Python2

Python3

urllib2

urllib.request

urllib2.urlopen()

urllib.request.urlopen()

urllib2.Request()

urllib.request.Request()

• 第一个参数 String 类型的地址
• data 是 bytes 类型的内容，可通过 bytes()函数转为化字节流。它也是可选参数。使用 data 参数，请求方式变成以 POST 方式提交表单。使用标准格式是application/x-www-form-urlencoded
• timeout 参数是用于设置请求超时时间。单位是秒。
• cafile和capath代表 CA 证书和 CA 证书的路径。如果使用HTTPS则需要用到。
• context参数必须是ssl.SSLContext类型，用来指定SSL设置
• cadefault参数已经被弃用，可以不用管了。
• 该方法也可以单独传入urllib.request.Request对象
• 该函数返回结果是一个http.client.HTTPResponse对象。

import urllib

url='http://www.baidu.com'

response=urllib.request.urlopen(url)

html=response.read().decode(‘utf-8’) # 要decode才能正常显示html内容

fp=open('re.html','wb') #'b' binary mode 用b保存bytes类型。

fp.write(html);

import urllib

url='http://www.baidu.com'

response = urllib.request.urlopen(url, timeout=1)

html=response.read()

• url 参数是请求链接，这个是必传参数，其他的都是可选参数。
• data 参数跟 urlopen() 中的 data 参数用法相同。
• headers 参数是指定发起的 HTTP 请求的头部信息。headers 是一个字典。它除了在 Request 中添加，还可以通过调用 Request实例的 add_header() 方法来添加请求头。
• origin_req_host 参数指的是请求方的 host 名称或者 IP 地址。
• unverifiable 参数表示这个请求是否是无法验证的，默认值是False。意思就是说用户没有足够权限来选择接收这个请求的结果。例如我们请求一个HTML文档中的图片，但是我们没有自动抓取图像的权限，我们就要将 unverifiable 的值设置成 True。
• method 参数指的是发起的 HTTP 请求的方式，有 GET、POST、DELETE、PUT等

import urllib

url='http://www.baidu.com'

request=urllib.request.Request(url)

response=urllib.request.urlopen(request)

fp=open('re.html','wb')#'b' binary mode 用b保存bytes类型。

fp.write(response.read().decode('utf-8'));

import urllib

url='http://www.baidu.com'

headers={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.96 Safari/537.36'}

request=urllib.request.Request(url,headers=headers)

response=urllib.request.urlopen(request)

fp=open('re.html','wb')#'b' binary mode 用b保存bytes类型。

fp.write(response.read().decode('utf-8'));

ProxyHandler：为请求设置代理

HTTPCookieProcessor：处理 HTTP 请求中的 Cookies

HTTPDefaultErrorHandler：处理 HTTP 响应错误。

HTTPRedirectHandler：处理 HTTP 重定向。

HTTPPasswordMgr：用于管理密码，它维护了用户名密码的表。

HTTPBasicAuthHandler：用于登录认证，一般和 HTTPPasswordMgr 结合使用。

import urllib

url='http://ip.cip.cc'#这个网站直接返回访问者IP，如果代理成功则是代理IP

#仿造浏览器标识

headers={

'User-Agent':

'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.96 Safari/537.36'

}

#使用代理

IPandPort='116.209.53.230:9999'

proxy_handler=urllib.request.ProxyHandler({

'http': 'HTTP://'+IPandPort,

'https': 'HTTP://'+IPandPort

})

opener = urllib.request.build_opener(proxy_handler)

urllib.request.install_opener(opener)

#构建请求

request=urllib.request.Request(url,headers=headers)

#打开请求

response=urllib.request.urlopen(request,timeout=6)

print(response.read().decode('utf-8'))

URLError

它具有一个属性reason，即返回错误的原因。

HTTPError

专门处理 HTTP 和 HTTPS 请求的错误

1、code：HTTP 请求返回的状态码。

2、reason：与父类用法一样，表示返回错误的原因。

3、headers`：HTTP 请求返回的响应头信息。

from urllib import request,error

try:

response = request.urlopen('http://www.google.com')

except error.HTTPError as e:

print(e.code,'\n',e.reason,'\n',e.headers)

print('\n****************\n')

except error.URLError as eu:

print(eu.reason)