百度360必应搜狗淘宝本站头条
nodejsbufferorg.jsoupsetnocountoncv2.bitwise_nottime.strptime
当前位置：网站首页 > 编程字典 > 正文

Python3爬虫基础正则表达式爬取猫眼信息写入txt,csv

toyiye 2024-06-21 11:54 11 浏览 0 评论

前言

正则表达式是对字符串的一种逻辑公式，用事先定义好的一些特定字符、及这些特定字符的组合，组成一个“规则的字符串”，此字符串用来表示对字符串的一种“过滤”逻辑。正在在很多开发语言中都存在，而非python独有。对其知识点进行总结后，会写一个demo。

有需要Python学习资料的小伙伴吗?小编整理【一套Python资料、源码和PDF】，感兴趣者可以关注小编后私信学习资料（是关注后私信哦）反正闲着也是闲着呢，不如学点东西啦

1.正则表达式

python是自1.5开始引进re模块进行处理正则的。我先把正则的匹配规则总结一下，再总结re模块相应的方法。

1.1匹配规则

对于一个特殊字符在正则表达式中是不能正常识别的，如果接触过其他语言我们就这到有一个叫做转移字符的东西的存在，在特殊字符前加用反斜杠接口。比如\n换行\\为反斜杠，在这不再累述。下面来介绍一下re这个模块。

1.2.re模块

此模块主要方法如下

re.match()#尝试从字符串的起始位置匹配一个模式(pattern)，如果不是起始位置匹配成功的话，match()就返回None
re.search()#函数会在字符串内查找模式匹配,只要找到第一个匹配然后返回，如果字符串没有匹配，则返回None。
re.findall()#遍历匹配，可以获取字符串中所有匹配的字符串，返回一个列表。
re.compile()#编译正则表达式模式，返回一个对象的模式。（可以把那些常用的正则表达式编译成正则表达式对象，这样可以提高一点效率。）
re.sub()#使用re替换string中每一个匹配的子串后返回替换后的字符串。
re.subn()#返回替换次数
re.split()#按照能够匹配的子串将string分割后返回列表。

1.2.1.re.match()

方法： re.match(pattern, string, flags=0) # pattern:正则表达式(或者正则表达式对象)string:要匹配的字符串flags:修饰符

先看一个最简单的用法

import re
content ='Hello 123 4567 wangyanling REDome'
print(len(content))
result = re.match('^Hello\s\d\d\d\s\d{4}\s\w{10}.*Dome
, content) print(result) print(result.group()) print(result.span())

结果：

匹配规则就不在累述，以上需要注意的是

(1) .group() 表示的是返回正则匹配的结果

(2) .span() 表示返回正则匹配的范围

使用：

以上我们已经知道re.matcha()的具体方法，那么接下我来看一下具体使用，对此我们要理解以下几种匹配的感念。

1.泛匹配（.*）：匹配所有字符

import re
content ='Hello 123 4567 wangyanling REDome'
result = re.match('^Hello.*Dome
, content) print(result) print(result.group()) print(result.span())

它的结果是和上面的输出结果完全一样的。

2.目标匹配（（））：将需要的字符匹配出来

import re
content ='Hello 123 4567 wangyanling REDome'
result = re.match('^Hello\s\d\d(\d)\s\d{4}\s\w{10}.*Dome
, content) print(result) print(result.group(1)) import re content ='Hello 123 4567 wangyanling REDome' result = re.match('^Hello\s(\d+)\s\d{4}\s\w{10}.*Dome
, content) print(result) print(result.group(1))

结果

以上可以看出：

(1) （） 匹配括号内的表达式，也表示一个组

(2) + 匹配1个或多个的表达式

*匹配0个或多个的表达式

(3) .group(1) —输出第一个带有（）的目标

3.贪婪匹配(.*())：匹配尽可能少的的结果

import re
content ='Hello 123 4567 wangyanling REDome'
result = re.match('^H.*(\d+).*Dome
, content) print(result) print(result.group(1))

结果

4.贪婪匹配（.*?()）：匹配尽可能多的结果

import re
content ='Hello 123 4567 wangyanling REDome'
result = re.match('^H.*?(\d+).*?Dome
, content) print(result) print(result.group(1))

结果

以上3,4两个匹配方式请尽量采用非贪婪匹配

5.其他

换行：

import re
content ='''Hello 123 4567 
 wangyanling REDome'''
result = re.match('^H.*?(\d+).*?Dome
, content,re.S)#re.S print(result.group(1)) result = re.match('^H.*?(\d+).*?Dome, content) print(result.group(1))

结果：

转义字符：

import re
content = 'price is $5.00'
result = re.match('price is $5.00', content)
print(result)
result = re.match('price is \$5\.00', content)
print(result)

结果：

其中re.I使匹配对大小不敏感,re.S匹配包括换行符在内的所有字符,\进行处理转义字符。匹配规则中有详细介绍。

1.2.2.re.search()

方法：

re.search(pattern, string, flags=0)#pattern:正则表达式(或者正则表达式对象)string:要匹配的字符串flags:修饰符
 #re.match()和re.search()用法类似唯一的区别在于re.match()从字符串头开始匹配,若头匹配不成功,则返回None

对比一下与match()

import re
content ='Hello 123 4567 wangyanling REDome'
result = re.match('(\d+)\s\d{4}\s\w{10}.*Dome, content)
print(result)#从开头开始查找，不能匹配返回None
result = re.search('(\d+)\s\d{4}\s\w{10}.*Dome, content)
print(result)
print(result.group())

结果：

可以看出两个使用基本一致，search从头开始匹配，如果匹配不到就返回none.

1.2.3.re.findall()

方法： re.finditer(pattern, string, flags=0) # pattern:正则表达式(或者正则表达式对象)string:要匹配的字符串flags:修饰符

与re.search()类似区别在于re.findall()搜索string，返回一个顺序访问每一个匹配结果（Match对象）的迭代器。找到 RE 匹配的所有子串，并把它们作为一个迭代器返回。

import re
html = '''
 <div>
 <li><a href="" singer="鲁迅">呐喊</a></li>
 <li><a href="#" singer="贾平凹">废都</a></li>
 <li class="active"><a href="#" singer="路遥">平凡世界</a></li>
 <span class="rightSpan">谢谢支持</span>
 </div>
'''
regex_4='<a.*?>(.*?)</a>'
results=re.findall(regex_4,html,re.S)
print(results)
for result in results:
 print(result)

结果：

1.2.4.re.compile()

编译正则表达式模式，返回一个对象的模式。

方法： re.compile(pattern,flags=0) # pattern:正则表达式(或者正则表达式对象);flags:修饰符

看一个demo

import re
content ='Hello 123 4567 wangyanling REDome wangyanling 那小子很帅'
rr = re.compile(r'\w*wang\w*')
result =rr.findall(content)
print(result)

结果：

我们可以看出compile 我们可以把它理解为封装了一个公用的正则，类似于方法，然后功用。

1.2.5.其他

re.sub 替换字符

方法： re.sub(pattern, repl, string, count=0, flags=0) # pattern:正则表达式(或者正则表达式对象)repl:替换的字符串string:要匹配的字符串count:要替换的个数flags:修饰符

re.subn 替换次数

方法： re.subn(pattern, repl, string, count=0, flags=0) # pattern:正则表达式(或者正则表达式对象)repl:替换的字符串string:要匹配的字符串count:要替换的个数flags:修饰符

re.split()分隔字符

方法

re.split(pattern, string，[maxsplit])#正则表达式（或者正则表达式对象）string:要匹配的字符串；maxsplit：用于指定最大分割次数，不指定将全部分割

2.案例：爬取猫眼信息，写入txt,csv,下载图片

2.1.获取单页面信息

def get_one_page(html):
 pattern= re.compile('<dd>.*?board-index.*?>(\d+)</i>.*?data-src="(.*?)".*?name"><a.*?>(.*?)</a>.*?star">(.*?)</p>.*?releasetime'
 + '.*?>(.*?)</p>.*?score.*?integer">(.*?)</i>.*?>(.*?)</i>.*?</dd>',re.S)#这里就用到了我们上述提到的一些知识点，非贪婪匹配，对象匹配，修饰符
 items = re.findall(pattern,html)
 for item in items:
 yield {
 'rank' :item[0],
 'img': item[1],
 'title':item[2],
 'actor':item[3].strip()[3:] if len(item[3])>3 else '', 
 'time' :item[4].strip()[5:] if len(item[4])>5 else '',
 'score':item[5] + item[6]
 }

对于上面的信息我们可以看出是存到一个对象中那么接下来我们应该把它们存到文件当中去。

2.2.保存文件

我写了两种方式保存到txt和csv这些在python都有涉及，不懂得可以去翻看一下。

2.2.1.保存到txt

def write_txtfile(content):
 with open("Maoyan.txt",'a',encoding='utf-8') as f:
 #要引入json,利用json.dumps()方法将字典序列化,存入中文要把ensure_ascii编码方式关掉
 f.write(json.dumps(content,ensure_ascii=False) + "\n")
 f.close()

结果：


以上看到并非按顺序排列因为我用的是多线程。

2.2.2.保存到csv

def write_csvRows(content,fieldnames):
 '''写入csv文件内容'''
 with open("Maoyao.csv",'a',encoding='gb18030',newline='') as f:
 #将字段名传给Dictwriter来初始化一个字典写入对象
 writer = csv.DictWriter(f,fieldnames=fieldnames)
 #调用writeheader方法写入字段名
 writer.writerows(content)
 f.close()

结果：

那么还有一部就是我们要把图片下载下来。

2.2.3.下载图片

def download_img(title,url):
 r=requests.get(url)
 with open(title+".jpg",'wb') as f:
 f.write(r.content)

2.3.整体代码

这里面又到了多线程在这不在叙述后面会有相关介绍。这个demo仅做一案例，主要是对正则能有个认知。上面写的知识点有不足的地方望大家多多指教。

#抓取猫眼电影TOP100榜
from multiprocessing import Pool
from requests.exceptions import RequestException
import requests
import json
import time
import csv
import re
def get_one_page(url):
 '''获取单页源码'''
 try:
 headers = {
 "User-Agent":"Mozilla/5.0(WindowsNT6.3;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/68.0.3440.106Safari/537.36"
 }
 res = requests.get(url, headers=headers)
 # 判断响应是否成功,若成功打印响应内容,否则返回None
 if res.status_code == 200:
 return res.text
 return None
 except RequestException:
 return None
def parse_one_page(html):
 '''解析单页源码'''
 pattern = re.compile('<dd>.*?board-index.*?>(\d+)</i>.*?data-src="(.*?)".*?name"><a.*?>(.*?)</a>.*?star">(.*?)</p>.*?releasetime'
 + '.*?>(.*?)</p>.*?score.*?integer">(.*?)</i>.*?>(.*?)</i>.*?</dd>',re.S)
 items = re.findall(pattern,html)
 #采用遍历的方式提取信息
 for item in items:
 yield {
 'rank' :item[0],
 'img': item[1],
 'title':item[2],
 'actor':item[3].strip()[3:] if len(item[3])>3 else '', #判断是否大于3个字符
 'time' :item[4].strip()[5:] if len(item[4])>5 else '',
 'score':item[5] + item[6]
 }
def write_txtfile(content):
 with open("Maoyan.txt",'a',encoding='utf-8') as f:
 #要引入json,利用json.dumps()方法将字典序列化,存入中文要把ensure_ascii编码方式关掉
 f.write(json.dumps(content,ensure_ascii=False) + "\n")
 f.close()
def write_csvRows(content,fieldnames):
 '''写入csv文件内容'''
 with open("Maoyao.csv",'a',encoding='gb18030',newline='') as f:
 #将字段名传给Dictwriter来初始化一个字典写入对象
 writer = csv.DictWriter(f,fieldnames=fieldnames)
 #调用writeheader方法写入字段名
 #writer.writeheader() ###这里写入字段的话会造成在抓取多个时重复.
 writer.writerows(content)
 f.close()
def download_img(title,url):
 r=requests.get(url)
 with open(title+".jpg",'wb') as f:
 f.write(r.content)
def main(offset):
 fieldnames = ["rank","img", "title", "actor", "time", "score"]
 url = "http://maoyan.com/board/4?offset={0}".format(offset)
 html = get_one_page(url)
 rows = []
 for item in parse_one_page(html):
 #download_img(item['rank']+item['title'],item['img'])
 write_txtfile(item)
 rows.append(item)
 write_csvRows(rows,fieldnames)
if __name__ == '__main__':
 pool = Pool()
 #map方法会把每个元素当做函数的参数,创建一个个进程,在进程池中运行.
 pool.map(main,[i*10 for i in range(10)])

有需要Python学习资料的小伙伴吗?小编整理【一套Python资料、源码和PDF】，感兴趣者可以关注小编后私信学习资料（是关注后私信哦）反正闲着也是闲着呢，不如学点东西啦

相关推荐

为何越来越多的编程语言使用JSON（为什么编程）

JSON是JavascriptObjectNotation的缩写，意思是Javascript对象表示法，是一种易于人类阅读和对编程友好的文本数据传递方法，是JavaScript语言规范定义的一个子...

何时在数据库中使用 JSON（数据库用json格式存储）

在本文中，您将了解何时应考虑将JSON数据类型添加到表中以及何时应避免使用它们。每天?分享?最新?软件?开发?，Devops，敏捷?，测试?以及?项目?管理?最新?，最热门?的?文章?，每天?花?...

MySQL 从零开始:05 数据类型（mysql数据类型有哪些,并举例）

前面的讲解中已经接触到了表的创建，表的创建是对字段的声明，比如：上述语句声明了字段的名称、类型、所占空间、默认值和是否可以为空等信息。其中的int、varchar、char和decimal都...

JSON对象花样进阶（json格式对象）

一、引言在现代Web开发中，JSON（JavaScriptObjectNotation）已经成为数据交换的标准格式。无论是从前端向后端发送数据，还是从后端接收数据，JSON都是不可或缺的一部分。...

深入理解 JSON 和 Form-data（json和formdata提交区别）

在讨论现代网络开发与API设计的语境下，理解客户端和服务器间如何有效且可靠地交换数据变得尤为关键。这里，特别值得关注的是两种主流数据格式：...

JSON 语法（json 语法 priority）

JSON语法是JavaScript语法的子集。JSON语法规则JSON语法是JavaScript对象表示法语法的子集。数据在名称/值对中数据由逗号分隔花括号保存对象方括号保存数组JS...

JSON语法详解（json的语法规则）

JSON语法规则JSON语法是JavaScript对象表示法语法的子集。数据在名称/值对中数据由逗号分隔大括号保存对象中括号保存数组注意：json的key是字符串,且必须是双引号，不能是单引号...

MySQL JSON数据类型操作（mysql的json）

概述mysql自5.7.8版本开始，就支持了json结构的数据存储和查询，这表明了mysql也在不断的学习和增加nosql数据库的有点。但mysql毕竟是关系型数据库，在处理json这种非结构化的数据...

JSON的数据模式（json数据格式示例）

像XML模式一样，JSON数据格式也有Schema，这是一个基于JSON格式的规范。JSON模式也以JSON格式编写。它用于验证JSON数据。JSON模式示例以下代码显示了基本的JSON模式。{"...

前端学习——JSON格式详解（后端json格式）

JSON(JavaScriptObjectNotation)是一种轻量级的数据交换格式。易于人阅读和编写。同时也易于机器解析和生成。它基于JavaScriptProgrammingLa...

什么是 JSON:详解 JSON 及其优势（什么叫json）

现在程序员还有谁不知道JSON吗？无论对于前端还是后端，JSON都是一种常见的数据格式。那么JSON到底是什么呢？JSON的定义...

PostgreSQL JSON 类型:处理结构化数据

PostgreSQL提供JSON类型，以存储结构化数据。JSON是一种开放的数据格式，可用于存储各种类型的值。什么是JSON类型？JSON类型表示JSON(JavaScriptO...

JavaScript:JSON、三种包装类（javascript 包）

JOSN:我们希望可以将一个对象在不同的语言中进行传递，以达到通信的目的，最佳方式就是将一个对象转换为字符串的形式JSON（JavaScriptObjectNotation）-JS的对象表示法...

Python数据分析 只要1分钟 教你玩转JSON 全程干货

Json简介：Json，全名JavaScriptObjectNotation,JSON(JavaScriptObjectNotation(记号、标记))是一种轻量级的数据交换格式。它基于J...

比较一下JSON与XML两种数据格式?（json和xml哪个好）

JSON（JavaScriptObjectNotation）和XML（eXtensibleMarkupLanguage）是在日常开发中比较常用的两种数据格式，它们主要的作用就是用来进行数据的传...

取消回复欢迎 你 发表评论:

请填写验证码
一周热门
最近发表
标签列表