百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 编程字典 > 正文

python爬虫25 爬取的数据怎么保存CSV了解一下

toyiye 2024-06-21 11:54 16 浏览 0 评论

大家好

我是小帅b

是一个练习时长两年半的练习生

喜欢

唱!

跳!

rap!

篮球!

敲代码!

装逼!

不好意思

我又走错片场了

接下来的几篇文章

小帅b将告诉你

如何将你爬取到的数据保存下来

有文本文件、redis、数据库(MySQL、MangoDB)等的存储方式

今天先说说

CSV

什么是 CSV?

怎么玩?

牛逼么?

那么接下来就是

学习 Python 的正确姿势

CSV 是一个文本文件来的

有点像 excel

也就是它是以一定的表格的格式来展示数据的

我们通常会使用逗号(,)来对每一个单元数据进行分割

分隔符不止是逗号

也可以是制表符(tab)、冒号(:)、分号(;)

比如我们要来表示一个表格中的数据

就可以这样





第1列的名称,第2列的名称,第3列的名称第1行第1格的数据,第1行第2格的数据,第1行第3格的数据第2行第1格的数据,第2行第2格的数据,第2行第3格的数据...

这就是 CSV 的格式

有啥好处呢

说 3 点足以

它支持存储比较大量的数据

我们可以非常方便地利用它进行数据的导入或者导出到电子表格或者数据库

所有支持文本文件的输入输出的编程语言(比如我们的 python),都可以直接操作使用 CSV 文件。

了解什么是 CSV 之后

接下来小帅b会告诉你怎么使用 python 去存储数据到 CSV 文件中

代码走起

我们导入 CSV 这个库

通过 csv.DictWriter 获取 writer 对象

然后就可以写入了

具体看下代码











import csv
with open('xiaoshuaib.csv', mode='w') as csv_file:    fieldnames = ['你是谁', '你几岁', '你多高']    writer = csv.DictWriter(csv_file, fieldnames=fieldnames)
    writer.writeheader()    writer.writerow({'你是谁': '小帅b', '你几岁': '18岁', '你多高': '18cm'})    writer.writerow({'你是谁': '小帅c', '你几岁': '19岁', '你多高': '17cm'})    writer.writerow({'你是谁': '小帅d', '你几岁': '20岁', '你多高': '16cm'})

我们这里以字典的方式写入数据到 xiaoshuaib.csv 这个文件中

运行之后

可以看到多了一个文件

打开看看

可以看到

我们的数据就被写进来了

说:是高还是长?

再给大家介绍一个库

pandas

它可以更加方便的操作 CSV 文件

我们先安装一下 pandas


pip install pandas

安装完之后

我们用 pandas 来读取一下我们刚存储的 xiaoshuaib.cvs 文件




import pandasxiaoshuaib = pandas.read_csv('xiaoshuaib.csv')print(xiaoshuaib)

打印结果是这样的

是不是又方便又好看呢

用 pandas 来存储 CSV 数据也是很简单的

一个方法就搞定

to_csv









import pandas as pd
b = ['小帅b', '小帅c', '小帅d']c = ['18岁', '19岁', '20岁']d = ['18cm', '17cm', '16cm']
df = pd.DataFrame({'你是谁' : b, '你几岁' : c, '你多高' : d})df.to_csv("xsb.csv", index=False, sep=',')

运行一下

ok

以上就是对 CSV 的主要操作

当你把数据爬取下来的时候

可以使用这招试试把数据存储下来

好了

那么我们下篇再见

peace


点个赞啊~~(破音)

相关推荐

为何越来越多的编程语言使用JSON(为什么编程)

JSON是JavascriptObjectNotation的缩写,意思是Javascript对象表示法,是一种易于人类阅读和对编程友好的文本数据传递方法,是JavaScript语言规范定义的一个子...

何时在数据库中使用 JSON(数据库用json格式存储)

在本文中,您将了解何时应考虑将JSON数据类型添加到表中以及何时应避免使用它们。每天?分享?最新?软件?开发?,Devops,敏捷?,测试?以及?项目?管理?最新?,最热门?的?文章?,每天?花?...

MySQL 从零开始:05 数据类型(mysql数据类型有哪些,并举例)

前面的讲解中已经接触到了表的创建,表的创建是对字段的声明,比如:上述语句声明了字段的名称、类型、所占空间、默认值和是否可以为空等信息。其中的int、varchar、char和decimal都...

JSON对象花样进阶(json格式对象)

一、引言在现代Web开发中,JSON(JavaScriptObjectNotation)已经成为数据交换的标准格式。无论是从前端向后端发送数据,还是从后端接收数据,JSON都是不可或缺的一部分。...

深入理解 JSON 和 Form-data(json和formdata提交区别)

在讨论现代网络开发与API设计的语境下,理解客户端和服务器间如何有效且可靠地交换数据变得尤为关键。这里,特别值得关注的是两种主流数据格式:...

JSON 语法(json 语法 priority)

JSON语法是JavaScript语法的子集。JSON语法规则JSON语法是JavaScript对象表示法语法的子集。数据在名称/值对中数据由逗号分隔花括号保存对象方括号保存数组JS...

JSON语法详解(json的语法规则)

JSON语法规则JSON语法是JavaScript对象表示法语法的子集。数据在名称/值对中数据由逗号分隔大括号保存对象中括号保存数组注意:json的key是字符串,且必须是双引号,不能是单引号...

MySQL JSON数据类型操作(mysql的json)

概述mysql自5.7.8版本开始,就支持了json结构的数据存储和查询,这表明了mysql也在不断的学习和增加nosql数据库的有点。但mysql毕竟是关系型数据库,在处理json这种非结构化的数据...

JSON的数据模式(json数据格式示例)

像XML模式一样,JSON数据格式也有Schema,这是一个基于JSON格式的规范。JSON模式也以JSON格式编写。它用于验证JSON数据。JSON模式示例以下代码显示了基本的JSON模式。{"...

前端学习——JSON格式详解(后端json格式)

JSON(JavaScriptObjectNotation)是一种轻量级的数据交换格式。易于人阅读和编写。同时也易于机器解析和生成。它基于JavaScriptProgrammingLa...

什么是 JSON:详解 JSON 及其优势(什么叫json)

现在程序员还有谁不知道JSON吗?无论对于前端还是后端,JSON都是一种常见的数据格式。那么JSON到底是什么呢?JSON的定义...

PostgreSQL JSON 类型:处理结构化数据

PostgreSQL提供JSON类型,以存储结构化数据。JSON是一种开放的数据格式,可用于存储各种类型的值。什么是JSON类型?JSON类型表示JSON(JavaScriptO...

JavaScript:JSON、三种包装类(javascript 包)

JOSN:我们希望可以将一个对象在不同的语言中进行传递,以达到通信的目的,最佳方式就是将一个对象转换为字符串的形式JSON(JavaScriptObjectNotation)-JS的对象表示法...

Python数据分析 只要1分钟 教你玩转JSON 全程干货

Json简介:Json,全名JavaScriptObjectNotation,JSON(JavaScriptObjectNotation(记号、标记))是一种轻量级的数据交换格式。它基于J...

比较一下JSON与XML两种数据格式?(json和xml哪个好)

JSON(JavaScriptObjectNotation)和XML(eXtensibleMarkupLanguage)是在日常开发中比较常用的两种数据格式,它们主要的作用就是用来进行数据的传...

取消回复欢迎 发表评论:

请填写验证码