urllib2.request 第3页

Python 爬虫入门五之 Cookie 的使用

大家好！上一节我们研究了一下爬虫的异常处理问题，那么接下来我们一起来看一下Cookie的使用。为什么要使用Cookie呢？Cookie，指某些网站为了辨别用户身份、进行session跟踪而储存在用户本地终端上的数据（通常经过加密）比如说有些网站需要登录后才能访问某个页面，在登录之前...

Python爬虫学习，批量下载小说网站上的小说

爬虫脚本把这个小说网上的几乎所有小说都下载到了本地，一共27000+本小说，一共40G。自此，大功告成，打包发了过去。另外说一句，百度云真坑，每次上传数量有限制，分享给朋友文件数量有限制，分享的文件夹大小也有限制，害的我还得整成压缩版才能分享。下载界面源码展示：...

如何用Python爬虫获取那些价值博文

在网上有很多精彩的技术博客文章，我们可以把它爬取下来，保存在本地磁盘，可以很方便以后阅读和学习，现在我们就用python编写一段爬虫代码，来实现这个目的。我们想要做的事情：自动读取博客文章，记录标题，把心仪的文章保存到个人电脑硬盘里供以后学习参考。...

python2.7自动帮你取名

废话不多说，直接上代码#-*-coding:utf-8-*-importurllib2importsysfrombs4importBeautifulSoupreload(sys)sys.setdefaultencoding("utf-8")...

如何用Python打造密码破解器

适用于新手的python密码破解器，代码如下：#!/usr/bin/python#-*-coding:GB2312-*-#author:loversorryimporturllib2importurllibimportosimportsysimportgetoptim...

几个常用的 Python 爬虫技巧

?Python应用最多的场景还是web快速开发、爬虫、自动化运维。爬虫在开发过程中也有很多复用的过程，这里总结一下。1、基本抓取网页get方法...

如何搭建一个微博聊天机器人

在今年五六月份火遍微信的微软小冰突然间消失不见了，大家对小冰的幽默风趣印象深刻，以往颇为沉寂的微信群因为小冰的存在而活跃了许多。小冰不过是微软人工智能的一个作品，实现一定程度的智能聊天交互，当然小冰之前仍有许多类似的诸如在人人网火遍一时的小黄鸡等。今天在这里我们将会教大家如何利用小黄鸡的api与微博...

数据大作战之网络爬虫

连续一个星期了，一直是在抓数据。个人水平从小初班到了小中班。好歹是积累了些干货。感觉有必要总结总结了。在上干货之前，我先说明下提纲。不感兴趣前部分就可以跳过了。第一节，普及下网络数据请求过程第二节，几种语言抓取数据的方式第三节，Python抓取数据的方法和常见问题，包括中文乱码，post传值，域名登...

Python 爬虫实战一之爬取糗事百科段子

本篇目标1.抓取糗事百科热门段子2.过滤带有图片的段子...

Python爬虫抓取某院网站MM照片，10分钟教你爬取心目中的女神!

Scrapy，Python开发的一个快速,高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类，如BaseSpi...