--世界上只有一种真正的英雄主义,就是看清生活的真相之后依然热爱生活，学习编程成就更好的自己--
Python语言简洁生动，特别适合文科生学习入门IT世界，用几十行代码就能够做一个完整的爬虫脚本，开发效率杠杠的！短时间内即可解决工作和学习中碰到的各种棘手问题。(本人外语专业毕业，机缘巧合爱上编程，自学道路曲曲折折，痛并快乐！)在这里总结一下自学Python遇到的难点和重点，分享码过的代码和要点总结，希望能够给初学者一点启示和鼓励，同时愿意结交更多大神交流有助提升自己的水平。
今天分享一下本人初学爬虫时写过的简易脚本，通过该实例想证明：爬虫并不是多复杂和高深的技术，只要大家有足够的兴趣和耐心一定能够爬到工作和学习所需的数据(一定要合规和合法的爬)，主要过程分为三个步骤：
1.构造网页访问请求-即打开指定网站或相关网页；
2.爬取网页数据并解析-关键点如何得到出想要的信息数据；
3.解析好的数据保存到本地-一般用pandas来保存成excel格式文件。
接下来看看具体实例吧，下面要爬取的内容是“某瓣”一指定网页上的所有电影中文名和对应出品年份，主要使用request库来完成相关任务。
1.构造网页访问请求-生成一个自定义访问请求函数
2.爬取相关数据-使用访问请求函数爬出数据并进行分析和解析
通过观察找到电影中文名的规律并用正则写好相应提取函数
通过观察找到电影出品年份的规律并用正则写好相应提取函数
3.将解析出来的数据通过pandas方法装入dataframe并保存到本地
保存后的Excel文件结果显示如下：
代码汇总如下：
from pandas.core.frame import DataFrame
import urllib.request,urllib.error
import pandas as pd
import datetime
import time
import os
import re
def Set_Work_Path(x):
try:
os.chdir(x)
route = os.getcwd()
print(route)
return route
except Exception:
print("No Result")
work_path = r"E:\DATA\10AUG21"
Set_Work_Path(work_path)
#define a website openning function
def Get_Url_Link(url):
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36"}
req = urllib.request.Request(url=url, headers=headers)
response = urllib.request.urlopen(req, timeout=5)
data = response.read().decode("utf-8")
return data
link_airlines = "https://movie.douban.com/top250?start=00"
web_data = Get_Url_Link(link_airlines)
print(web_data)
#define a function to locate the film title
def Get_Film_Title(x):
mode = re.compile(r'class\=\"title\"\>([\u4E00-\u9FA5]+)\<\/span\>')
list = re.findall(mode,x)
print(len(list))
return list
#define a function to locate the film year
def Get_Film_Year(x):
mode = re.compile(r'(\d{4}) ')
list = re.findall(mode,x)
print(len(list))
return list
title_list = Get_Film_Title(web_data)
print(title_list)
year_list = Get_Film_Year(web_data)
print(year_list)
#get the list into a dataframe
df = {"Title":title_list,"Year":year_list}
data = DataFrame(df)
print(data)
#create file name
nowTime = datetime.datetime.now()
fraTime = nowTime
Update_Time = fraTime.strftime('%Y-%m-%d-%H-%M-%S')
data_out_title = "爬取网页"+Update_Time+".xlsx"
print(data_out_title)
#get data saved into excel file
writer = pd.ExcelWriter(data_out_title)
data.to_excel(writer,encoding="utf_8_sig",sheet_name="data",index=False)
writer.save()
#show the running time
show = "Time: %s Seconds" % time.perf_counter() + ", Well Done!"
print(show)
print("Running is OVER!!")今天的案例非常简单，主要目的是为了让大多数小白明白爬虫的基本原理和过程，增加初学者的信心和勇气，通常来讲新手先要学会爬取静态网页数据，然后慢慢增加难度来做完成更复杂的爬虫任务，有句古话说的好：不积跬步，无以至千里！！！
END
我为人人，人人为我！！欢迎大家关注，点赞和转发！！！
~~人生不是赛场，梦想不容退场~~不断努力学习蜕变出一个更好的自己，不断分享学习路上的收获和感悟帮助他人成就自己！！！