百度360必应搜狗淘宝本站头条
nodejsbufferorg.jsoupsetnocountoncv2.bitwise_nottime.strptime
当前位置：网站首页 > 编程字典 > 正文

教你用python多线程下载网上电影资源，从此告别会员

toyiye 2024-06-24 19:29 11 浏览 0 评论

首先要分析一下电影天堂网站的首页结构。

从上面的菜单栏中我们可以看到整个网站资源的总体分类情况。刚刚好我们可以利用到它的这个分类，将每一个分类地址作为爬虫的起点。

①解析首页地址 提取分类信息

#解析首页
def CrawIndexPage(starturl):
 print "正在爬取首页"
 page = __getpage(starturl)
 if page=="error":
 return
 page = page.decode('gbk', 'ignore')
 tree = etree.HTML(page)
 Nodes = tree.xpath("//div[@id='menu']//a")
 print "首页解析出地址",len(Nodes),"条"
 for node in Nodes:
 CrawledURLs = []
 CrawledURLs.append(starturl)
 url=node.xpath("@href")[0]
 if re.match(r'/html/[A-Za-z0-9_/]+/index.html', url):
 if __isexit(host + url,CrawledURLs):
 pass
 else:
 try:
 catalog = node.xpath("text()")[0].encode("utf-8")
 newdir = "E:/电影资源/" + catalog
 os.makedirs(newdir.decode("utf-8"))
 print "创建分类目录成功------"+newdir
 thread = myThread(host + url, newdir,CrawledURLs)
 thread.start()
 except:
 pass

在这个函数中，首先将网页的源码下载下来，通过XPath解析出其中的菜单分类信息。并创建相应的文件目录。有一个需要注意的地方就是编码问题，但是也是被这个编码纠缠了好久，通过查看网页的源代码，我们可以发现，网页的编码采用的是GB2312，这里通过XPath构造Tree对象是需要对文本信息进行解码操作，将gb2312变成Unicode编码，这样DOM树结构才是正确的，要不然在后面解析的时候就会出现问题。

②解析每个分类的主页

# 解析分类文件
def CrawListPage(indexurl,filedir,CrawledURLs):
 print "正在解析分类主页资源"
 print indexurl
 page = __getpage(indexurl)
 if page=="error":
 return
 CrawledURLs.append(indexurl)
 page = page.decode('gbk', 'ignore')
 tree = etree.HTML(page)
 Nodes = tree.xpath("//div[@class='co_content8']//a")
 for node in Nodes:
 url=node.xpath("@href")[0]
 if re.match(r'/', url):
 # 非分页地址 可以从中解析出视频资源地址
 if __isexit(host + url,CrawledURLs):
 pass
 else:
 #文件命名是不能出现以下特殊符号
 filename=node.xpath("text()")[0].encode("utf-8").replace("/"," ")\
 .replace("\\"," ")\
 .replace(":"," ")\
 .replace("*"," ")\
 .replace("?"," ")\
 .replace("\""," ")\
 .replace("<", " ") \
 .replace(">", " ")\
 .replace("|", " ")
 CrawlSourcePage(host + url,filedir,filename,CrawledURLs)
 pass
 else:
 # 分页地址 从中嵌套再次解析
 print "分页地址 从中嵌套再次解析",url
 index = indexurl.rfind("/")
 baseurl = indexurl[0:index + 1]
 pageurl = baseurl + url
 if __isexit(pageurl,CrawledURLs):
 pass
 else:
 print "分页地址 从中嵌套再次解析", pageurl
 CrawListPage(pageurl,filedir,CrawledURLs)
 pass
 pass

打开每一个分类的首页会发现都有一个相同的结构，首先解析出包含资源URL的节点，然后将名称和URL提取出来。这一部分有两个需要注意的地方。一是因为最终想要把资源保存到一个txt文件中，但是在命名时不能出现一些特殊符号，所以需要处理掉。二是一定要对分页进行处理，网站中的数据都是通过分页这种形式展示的，所以如何识别并抓取分页也是很重要的。通过观察发现，分页的地址前面没有“/”,所以只需要通过正则表达式找出分页地址链接，然后嵌套调用即可解决分页问题。

③解析资源地址保存到文件中

#处理资源页面 爬取资源地址
def CrawlSourcePage(url,filedir,filename,CrawledURLs):
 print url
 page = __getpage(url)
 if page=="error":
 return
 CrawledURLs.append(url)
 page = page.decode('gbk', 'ignore')
 tree = etree.HTML(page)
 Nodes = tree.xpath("//div[@align='left']//table//a")
 try:
 source = filedir + "/" + filename + ".txt"
 f = open(source.decode("utf-8"), 'w')
 for node in Nodes:
 sourceurl = node.xpath("text()")[0]
 f.write(sourceurl.encode("utf-8")+"\n")
 f.close()
 except:
 print "!!!!!!!!!!!!!!!!!"

这段就比较简单了，将提取出来的内容写到一个文件中就行了

完整代码

import re
import threading
import os
from urllib2 import Request,urlopen,URLError,HTTPError
from lxml import etree
class myThread (threading.Thread): #继承父类threading.Thread
 def __init__(self, url, newdir,CrawledURLs):
 threading.Thread.__init__(self)
 self.url = url
 self.newdir = newdir
 self.CrawledURLs=CrawledURLs
 def run(self): #把要执行的代码写到run函数里面 线程在创建后会直接运行run函数
 CrawListPage(self.url, self.newdir,self.CrawledURLs)
starturl="http://www.ygdy8.com/index.html"
host="http://www.ygdy8.com"
#判断地址是否已经爬取
def __isexit(newurl,CrawledURLs):
 for url in CrawledURLs:
 if url == newurl:
 return True
 return False
?
#获取页面资源
def __getpage(url):
 req = Request(url)
 user_agent = 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 ' \
 '(KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36'
 req.add_header('User-Agent', user_agent)
 try:
 response = urlopen(req, timeout=60)
 except:
 return "error"
 pass
 else:
 page = response.read()
 return page
#处理资源页面 爬取资源地址
def CrawlSourcePage(url,filedir,filename,CrawledURLs):
 print url
 page = __getpage(url)
 if page=="error":
 return
 CrawledURLs.append(url)
 page = page.decode('gbk', 'ignore')
 tree = etree.HTML(page)
 Nodes = tree.xpath("//div[@align='left']//table//a")
 try:
 source = filedir + "/" + filename + ".txt"
 f = open(source.decode("utf-8"), 'w')
 for node in Nodes:
 sourceurl = node.xpath("text()")[0]
 f.write(sourceurl.encode("utf-8")+"\n")
 f.close()
 except:
 print "!!!!!!!!!!!!!!!!!"
?
# 解析分类文件
def CrawListPage(indexurl,filedir,CrawledURLs):
 print "正在解析分类主页资源"
 print indexurl
 page = __getpage(indexurl)
 if page=="error":
 return
 CrawledURLs.append(indexurl)
 page = page.decode('gbk', 'ignore')
 tree = etree.HTML(page)
 Nodes = tree.xpath("//div[@class='co_content8']//a")
 for node in Nodes:
 url=node.xpath("@href")[0]
 if re.match(r'/', url):
 # 非分页地址 可以从中解析出视频资源地址
 if __isexit(host + url,CrawledURLs):
 pass
 else:
 #文件命名是不能出现以下特殊符号
 filename=node.xpath("text()")[0].encode("utf-8").replace("/"," ")\
 .replace("\\"," ")\
 .replace(":"," ")\
 .replace("*"," ")\
 .replace("?"," ")\
 .replace("\""," ")\
 .replace("<", " ") \
 .replace(">", " ")\
 .replace("|", " ")
 CrawlSourcePage(host + url,filedir,filename,CrawledURLs)
 pass
 else:
 # 分页地址 从中嵌套再次解析
 print "分页地址 从中嵌套再次解析",url
 index = indexurl.rfind("/")
 baseurl = indexurl[0:index + 1]
 pageurl = baseurl + url
 if __isexit(pageurl,CrawledURLs):
 pass
 else:
 print "分页地址 从中嵌套再次解析", pageurl
 CrawListPage(pageurl,filedir,CrawledURLs)
 pass
 pass
?
#解析首页
def CrawIndexPage(starturl):
 print "正在爬取首页"
 page = __getpage(starturl)
 if page=="error":
 return
 page = page.decode('gbk', 'ignore')
 tree = etree.HTML(page)
 Nodes = tree.xpath("//div[@id='menu']//a")
 print "首页解析出地址",len(Nodes),"条"
 for node in Nodes:
 CrawledURLs = []
 CrawledURLs.append(starturl)
 url=node.xpath("@href")[0]
 if re.match(r'/html/[A-Za-z0-9_/]+/index.html', url):
 if __isexit(host + url,CrawledURLs):
 pass
 else:
 try:
 catalog = node.xpath("text()")[0].encode("utf-8")
 newdir = "E:/电影资源/" + catalog
 os.makedirs(newdir.decode("utf-8"))
 print "创建分类目录成功------"+newdir
 thread = myThread(host + url, newdir,CrawledURLs)
 thread.start()
 except:
 pass
CrawIndexPage(starturl)

最后爬取的结果如下：

.

相关推荐

为何越来越多的编程语言使用JSON（为什么编程）

JSON是JavascriptObjectNotation的缩写，意思是Javascript对象表示法，是一种易于人类阅读和对编程友好的文本数据传递方法，是JavaScript语言规范定义的一个子...

何时在数据库中使用 JSON（数据库用json格式存储）

在本文中，您将了解何时应考虑将JSON数据类型添加到表中以及何时应避免使用它们。每天?分享?最新?软件?开发?，Devops，敏捷?，测试?以及?项目?管理?最新?，最热门?的?文章?，每天?花?...

MySQL 从零开始:05 数据类型（mysql数据类型有哪些,并举例）

前面的讲解中已经接触到了表的创建，表的创建是对字段的声明，比如：上述语句声明了字段的名称、类型、所占空间、默认值和是否可以为空等信息。其中的int、varchar、char和decimal都...

JSON对象花样进阶（json格式对象）

一、引言在现代Web开发中，JSON（JavaScriptObjectNotation）已经成为数据交换的标准格式。无论是从前端向后端发送数据，还是从后端接收数据，JSON都是不可或缺的一部分。...

深入理解 JSON 和 Form-data（json和formdata提交区别）

在讨论现代网络开发与API设计的语境下，理解客户端和服务器间如何有效且可靠地交换数据变得尤为关键。这里，特别值得关注的是两种主流数据格式：...

JSON 语法（json 语法 priority）

JSON语法是JavaScript语法的子集。JSON语法规则JSON语法是JavaScript对象表示法语法的子集。数据在名称/值对中数据由逗号分隔花括号保存对象方括号保存数组JS...

JSON语法详解（json的语法规则）

JSON语法规则JSON语法是JavaScript对象表示法语法的子集。数据在名称/值对中数据由逗号分隔大括号保存对象中括号保存数组注意：json的key是字符串,且必须是双引号，不能是单引号...

MySQL JSON数据类型操作（mysql的json）

概述mysql自5.7.8版本开始，就支持了json结构的数据存储和查询，这表明了mysql也在不断的学习和增加nosql数据库的有点。但mysql毕竟是关系型数据库，在处理json这种非结构化的数据...

JSON的数据模式（json数据格式示例）

像XML模式一样，JSON数据格式也有Schema，这是一个基于JSON格式的规范。JSON模式也以JSON格式编写。它用于验证JSON数据。JSON模式示例以下代码显示了基本的JSON模式。{"...

前端学习——JSON格式详解（后端json格式）

JSON(JavaScriptObjectNotation)是一种轻量级的数据交换格式。易于人阅读和编写。同时也易于机器解析和生成。它基于JavaScriptProgrammingLa...

什么是 JSON:详解 JSON 及其优势（什么叫json）

现在程序员还有谁不知道JSON吗？无论对于前端还是后端，JSON都是一种常见的数据格式。那么JSON到底是什么呢？JSON的定义...

PostgreSQL JSON 类型:处理结构化数据

PostgreSQL提供JSON类型，以存储结构化数据。JSON是一种开放的数据格式，可用于存储各种类型的值。什么是JSON类型？JSON类型表示JSON(JavaScriptO...

JavaScript:JSON、三种包装类（javascript 包）

JOSN:我们希望可以将一个对象在不同的语言中进行传递，以达到通信的目的，最佳方式就是将一个对象转换为字符串的形式JSON（JavaScriptObjectNotation）-JS的对象表示法...

Python数据分析 只要1分钟 教你玩转JSON 全程干货

Json简介：Json，全名JavaScriptObjectNotation,JSON(JavaScriptObjectNotation(记号、标记))是一种轻量级的数据交换格式。它基于J...

比较一下JSON与XML两种数据格式?（json和xml哪个好）

JSON（JavaScriptObjectNotation）和XML（eXtensibleMarkupLanguage）是在日常开发中比较常用的两种数据格式，它们主要的作用就是用来进行数据的传...

取消回复欢迎 你 发表评论:

请填写验证码
一周热门
最近发表
标签列表