开发环境

python3 + Microsoft Edge Chromium

爬虫入门知识

HTTP请求过程

1. 当用户在浏览器的地址栏中输入一个URL并按回车之后，浏览器会向HTTP服务器发送Request请求，去获取该URL的html文件，服务器把Response文件对象发送回浏览器。HTTP请求主要分为Get和Post两种方法。
2. 浏览器分析Reponse中的html，发现其中引用了很多其他文件，比如images文件，css文件，JS文件。浏览器会自动再次发送Request去获取这些文件。
3. 当所有的文件都下载成功后，网页会根据HTML语法结构完整地显示出来。

常用请求方法

1. Get请求 ：只从服务器获取数据，不会对服务器资源产生影响
2. Post请求：向服务器发送数据（登录），上传文件等，会对服务器资源产生影响。

请求头常见参数

1. User-Agent:浏览器名称，如果我们使用爬虫发送请求，那么我们的User-Agent就是Python,很容易被反爬虫检测到；
2. Referer:表明当前请求是从哪个URL过来的，这个一般也可以用来做反爬虫技术。如果不是从指定页面过来的，那么就不做相关的响应。
3. Cookie:http协议是无状态的，也就是从一个人发送了两次请求，服务器没有能力知道这两个请求是否来自同一个人。因此这时候就用cookie来做标识。一般如果想要做登录后才能访问的网站，那么就需要发送cookie信息了。

常见响应状态码

1. 200:请求正常，服务器正常返回数据；
2. 301:永久重定向，比如在访问www.jingdong.com的时候回重定向到www.jd.com；
3. 302:临时重定向，比如在访问一个需要登录的页面的时候，而此时没有登录，那么就会重定向到登录界面；
4. 400:请求的url在服务器上找不到，换句话说就是请求url错误；
5. 403:服务器拒绝访问，权限不够；
6. 500:服务器内部错误，可能是服务器出现bug了。

urllib库

urlopen

一个简单的读取百度首页的代码

from urllib import request
resp = request.urlopen('https://baidu.com')
print(resp.read())

返回值resp有多个方法read,readline,readlines,getcode

urlretrieve

下载网页

from urllib import request
request.urlretrieve('https://www.baidu.com', 'baidu.html')

urlencode

用浏览器发送请求的时候，如果url中包含了中文或者其他特殊字符，那么浏览器会自动进行编码。如果使用代码发送请求，则必须手动进行编码。

from urllib import parse
data = {'name': 'zzr', 'age': 18}
qs = parse.urlencode(data)
print(qs)

parse_qs

将经过编码后的url参数进行解码

from urllib import parse
qs = 'name=zzr&age=18'
print(parse.parse_qs(qs))

urlparse和urlsplit

有时候拿到一个url，想要对这个url中的各个组成部分进行分割

from urllib import request, parse
url = 'https://www.baidu.com/s?wd=python&rsv_spt=1'
print(parse.urlparse(url))
print(parse.urlsplit(url))

两个函数基本一样，唯一不同的地方是urlparse多了一个params属性

request.Request类

如果想在请求的时候增加一些请求头，则必须使用Request类来实现，下面是爬取拉勾网职位信息的一个例子：

from urllib import parse, request
url = 'https://www.lagou.com/jobs/positionAjax.json?needAddtionalResult=false'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4090.0 Safari/537.36 Edg/83.0.467.0',
           'Referer': 'https://www.lagou.com/jobs/list_python?labelWords=&fromSearch=true&suginput=',
data = {'first': 'true',
        'pn': 1,
        'kd': 'python'}
req = request.Request(url, headers=headers,
                      data=parse.urlencode(data).encode('utf-8'),
                      method='POST')
resp = request.urlopen(req)
print(resp.read().decode('utf-8'))

对应的请求头参数在上面网页按F12进行查找。但上面的代码已经读取不到拉勾网的职位信息，因为他们的反爬虫技术也在进步。但是记住一点，在使用Request类的时候，一定记得加上请求头headers，要不然非常容易被反爬到。

ProxyHandler处理器（代理设置）

很多网站会检测某一段时间某个IP的访问次数（通过流量，系统日志等），如果访问次数太多，它会禁止这个IP的访问，所以我们可以设置一些代理服务器，每隔一段时间换一个代理，就算IP被禁止，依然可以换个IP继续爬取。

代理的原理：

在请求目的网站之前，先请求代理服务器，然后让代理服务器去请求目的网站，然后代理服务器再将拿到的数据转发给我们的代码。

常用代理有：

• 西刺免费代理
• 快代理
• 代理云

我们这里通过快代理获取免费的ip

urllib中通过ProxyHandler来设置使用代理服务器

from urllib import request
url = 'http://httpbin.org/ip'
# 没有使用代理
# resp = request.urlopen(url)
# print(resp.read())
# 使用代理
# 1. 使用ProxyHandler传入代理构建一个handler
handler = request.ProxyHandler({'http': '59.44.78.30:54069'})
# 2. 构建opener
opener = request.build_opener(handler)
# 3. 使用opener发送请求
resp = opener.open(url)
print(resp.read)

可以看到输出的ip地址已经发生改变，但是免费的代理很慢，所以建议花点小钱买个代理。

Cookie

在需要登录的网站进行访问时，比如我们访问某一个人的主页，那么如果你没有登录一般是看不了的，它会重定向到登录界面。当我们登录之后就可以进行访问。但是我们使用爬虫代码因此不可能进行登录。因此我们只要手动进行登录进入某人的主页，并获取到该主页的cookie信息，将cookie信息添加到请求头中即可进行访问。

http.cookiejar模块

有没有一种方法不需要我们手动获取cookie信息，显得太low，我们这里使用一种方式全自动地获取某人主页。

该模块主要的类有以下4种:

• CookieJar:管理HTTP cookie值，存储HTTP请求生成的cookie,向传出的HTTP请求添加cookie的对象。整个cookie都存储在内存中，对CookieJar实例进行垃圾回收后cookie也将丢失；
• FileCookieJar(filename, delayload=None, policy=None):从CookieJar派生而来，检索cookie信息并将cookie存储到文件中。filename是存储cookie的文件名，delayload为True时支持延迟访问文件，即只在有需要时才读取文件或在文件中存储数据。
• MozillaCookieJar:从FileCookieJar派生而来，创建与Mozilla浏览器cookies.txt兼容的FileCookieJar实例
• LWPCookieJar:从FileCookieJar派生而来，创建与libwww-per标准的Set-Cookie3文件格式兼容的FileCookieJar实例。

from urllib import request, parse
from http.cookiejar import CookieJar

headers = {'User-Agent': ''}

def get _opener():
    '''
    登录准备
    '''
    # 创建一个cookiejar对象
    cookiejar = CookieJar()
    # 使用cookiejar创建一个HTTPCookieProcess对象
    handler = request.HTTPCookieProcessor(cookiejar)
    # 使用handler创建一个opener
    opener = request.build_opener(handler)
    return opener

def login(opener):
    '''
    登录
    '''
    # 填入自己的账号密码
    data = {'email': '',
           'password': ''}
    login_url = 'http://www.renren.com/PLogin.do'
    req = request.Request(login_url, 
                          data=parse.urlencode(data).encode('utf-8'), 
                          headers=headers)
    opener.open(req)
    
 def visit(opener):
    '''
    访问个人主页
    '''
    url = 'http://www.renren.com/880151247/profile'
    req = request.Request(url, headers=headers)
    resp = opener.open(req)
    with open('renren.html', 'w', encoding='utf-8') as f:
        f.write(resp.read().decode('utf-8'))
  
if __name__ == '__main__':
    opener = get_opener()
    login(opener)
    visit(opener)

保存cookie信息到本地

from urllib import request
from http.cookiejar import MozillaCookieJar

cookiejar = MozillaCookieJar('cookie.txt')

# cookiejar.load(ignore_discard=True)
handler = request.HTTPCookieProcessor(cookiejar)
opener = request.build_opener(handler)
opener.open('http://www.baidu.com')
# 有的cookie信息会在代码结束后过期，因此添加参数ignore_discard保存所有的cookie
cookiejar.save(ignore_discard=True)

读取保存在本地的cookie信息

from urllib import request
from http.cookiejar import MozillaCookieJar

cookiejar = MozillaCookieJar('cookie.txt')
cookiejar.load(ignore_discard=True)
handler = request.HTTPCookieProcessor(cookiejar)
opener = request.build_opener(handler)
opener.open('http://www.baidu.com')
# 有的cookie信息会在代码结束后过期，因此添加参数ignore_discard保存所有的cookie
for cookie in cookiejar:
    print(cookie)