百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 编程字典 > 正文

读写 CSV 数据(用csv模块读写文件记录)

toyiye 2024-07-08 23:01 10 浏览 0 评论

1. 现象

读写一个 CSV 格式的文件

2. 原因分析

3. 问题解决

对于大多数的 CSV 格式的数据读写问题,都可以使用 csv 库,常见的例子:

Output.csv内容

import csv

with open('Output.csv', newline='') as f_obj:
    c_reader = csv.reader(f_obj)
    headers = next(c_reader)
    for line in c_reader:
        print(line)

"""
['A', 'B', 'C']
['1', '2', '3']
['第', '一', '个']
"""

在上边的代码中,line 是一个序列 list,如果需要访问某个字段,可以使用下标的方式访问 line[0]

由于下标访问通常会引起混淆,可以考虑使用命名元组

import csv
from collections import namedtuple

with open('Output.csv', newline='') as f_obj:
    c_reader = csv.reader(f_obj)
    headers = next(c_reader)
    Line = namedtuple('Line', headers)
    for i_line in c_reader:
        line = Line(*i_line)
        print(line)
        print(line.行中)

"""
Line(行首='A', 行中='B', 行尾='C')
B
Line(行首='1', 行中='2', 行尾='3')
2
Line(行首='第', 行中='一', 行尾='个')
一
"""

namedtuple 允许使用列名如 row.行首 和 row.行中 代替下标访问。需要注意的是这个只有在列名是合法的 Python 标识符的时候才生效。如果不是的话,可能需要修改原始的列名 (如将非标识符字符替换成下划线之类的)

另外一个选择就是将数据读取到一个字典序列中去。可以这样做:

with open('Output.csv', newline='') as f_obj:
    c_reader = csv.DictReader(f_obj)
    for line in c_reader:
        print(line['行中'])

"""
B
2
一
"""

在这个版本中,可以使用列名去访问每一行的数据了。比如, row['行中'] 或者 row['行首']

为了写入 CSV 数据,也可以使用 csv 模块,不过这时候先创建一个 writer 对象

headers = ['行首', '行中', '行尾']
data = [
    ('A', 'B', 'C'),
    [1, 2, 3],
    ('第', '一', '个'),
]

# newline = '' 保证Windows下不会换行
with open('Input.csv', 'w', newline='') as f_obj:
    w_csv = csv.writer(f_obj)
    w_csv.writerow(headers)
    w_csv.writerows(data)

如果不添加 newline = '' ,则Windows下会换行

headers = ['行首', '行中', '行尾']
data = [
    ('A', 'B', 'C'),
    [1, 2, 3],
    ('第', '一', '个'),
]

with open('Input.csv', 'w') as f_obj:
    w_csv = csv.writer(f_obj)
    w_csv.writerow(headers)
    w_csv.writerows(data)

如果有一个字典序列的数据,可以像这样做

headers = ['行首', '行中', '行尾']
data = [
    {'行首': 'A', '行中': 'B', '行尾': 'C'},
    {'行首': 1, '行中': 2, '行尾': 3},
    {'行首': '第', '行中': '一', '行尾': '个'},
]

with open('Input.csv', 'w', newline='') as f_obj:
    w_csv = csv.DictWriter(f_obj, fieldnames=headers)
    w_csv.writeheader()
    w_csv.writerows(data)

应该总是优先选择 csv 模块分割或解析 CSV 数据,例如,你可能会像编写类似下面这样的代码

with open('Output.csv', newline='') as f_obj:
    for line in f_obj:
        row = line.split(',')
        print(row)

使用这种方式的一个缺点就是仍然需要去处理一些棘手的细节问题。比如

  • 如果某些字段值被引号包围,你不得不去除这些引号
  • 如果一个被引号包围的字段碰巧含有一个逗号,那么程序就会因为产生一个错误大小的行而出错

默认情况下, csv 库可识别 Microsoft Excel 所使用的 CSV 编码规则。这或许也是最常见的形式,并且也会给你带来最好的兼容性。然而,如果你查看 csv 的文档,就会发现有很多种方法将它应用到其他编码格式上 (如修改分割字符等)。例如,如果你想读取以 tab 分割的数据,可以这样做

with open('Output.csv', newline='') as f_obj:
    c_reader = csv.reader(f_obj, delimiter='\t')
    headers = next(c_reader)
    for line in c_reader:
        print(line)

如果正在读取 CSV 数据并将它们转换为命名元组,需要注意对列名进行合法性认证。例如,一个 CSV 格式文件有一个包含非法标识符的列头行,类似下面这样:

import re

with open('Output.csv') as f_obj:
    c_csv = csv.reader(f_obj)
    headers = [re.sub('[^a-zA-Z_]', '_', header) for header in next(c_csv) ]
    Line = namedtuple('Line', headers)
    for i_line in c_csv:
        row = Line(*i_line)

如果含有非法标识符,会导致在创建一个命名元组时产生一个 ValueError 异常而失败。为了解决这问题,你可能不得不先去修正列标题。例如,可以像上面这样在非法标识符上使用一个正则表达式替换,当然这里是很简单的替换,更加有效的判断需要单独写函数

还有重要的一点需要强调的是, csv 产生的数据都是字符串类型的,它不会做任何其他类型的转换。如果需要做这样的类型转换,必须自己手动去实现

先更改Input.csv数据内容为:

col_types = [str, int, str]

with open('Input.csv', newline='') as f_obj:
    c_csv = csv.reader(f_obj)
    headers = next(c_csv)
    for line in c_csv:
        row = tuple(convert(value) for convert, value in zip(col_types, line))
        print(row)

"""
('A', 1, 'C')
('1', 2, '3')
('第', 3, '个')
"""

col_types = [
    ('行首', str),
    ('行中', int),
    ('行尾', str),
]

with open('Input.csv', newline='') as f_obj:
    c_csv = csv.DictReader(f_obj)
    for line in c_csv:
        line.update((key, convert(line[key])) for key, convert in col_types)
        print(line)

"""
OrderedDict([('行首', 'A'), ('行中', 1), ('行尾', 'C')])
OrderedDict([('行首', '1'), ('行中', 2), ('行尾', '3')])
OrderedDict([('行首', '第'), ('行中', 3), ('行尾', '个')])
"""

通常来讲,我们可能并不想过多去考虑这些转换问题。

但在实际情况中, CSV 文件都或多或少有些缺失的数据,被破坏的数据以及其它一些转换失败的问题。因此,除非你的数据确实有保障是准确无误的,否则你必须考虑这些问题 (你可能需要增加合适的错误处理机制)

最后,如果读取 CSV 数据的目的是做数据分析和统计的话,我们可以看一看 Pandas 包。 Pandas 包含了一个非常方便的函数叫 pandas.read_csv() ,它可以加载 CSV 数据到一个 DataFrame 对象中去。然后利用这个对象我们就可以生成各种形式的统计、过滤数据以及执行其他高级操作。

4. 错误经历

相关推荐

为何越来越多的编程语言使用JSON(为什么编程)

JSON是JavascriptObjectNotation的缩写,意思是Javascript对象表示法,是一种易于人类阅读和对编程友好的文本数据传递方法,是JavaScript语言规范定义的一个子...

何时在数据库中使用 JSON(数据库用json格式存储)

在本文中,您将了解何时应考虑将JSON数据类型添加到表中以及何时应避免使用它们。每天?分享?最新?软件?开发?,Devops,敏捷?,测试?以及?项目?管理?最新?,最热门?的?文章?,每天?花?...

MySQL 从零开始:05 数据类型(mysql数据类型有哪些,并举例)

前面的讲解中已经接触到了表的创建,表的创建是对字段的声明,比如:上述语句声明了字段的名称、类型、所占空间、默认值和是否可以为空等信息。其中的int、varchar、char和decimal都...

JSON对象花样进阶(json格式对象)

一、引言在现代Web开发中,JSON(JavaScriptObjectNotation)已经成为数据交换的标准格式。无论是从前端向后端发送数据,还是从后端接收数据,JSON都是不可或缺的一部分。...

深入理解 JSON 和 Form-data(json和formdata提交区别)

在讨论现代网络开发与API设计的语境下,理解客户端和服务器间如何有效且可靠地交换数据变得尤为关键。这里,特别值得关注的是两种主流数据格式:...

JSON 语法(json 语法 priority)

JSON语法是JavaScript语法的子集。JSON语法规则JSON语法是JavaScript对象表示法语法的子集。数据在名称/值对中数据由逗号分隔花括号保存对象方括号保存数组JS...

JSON语法详解(json的语法规则)

JSON语法规则JSON语法是JavaScript对象表示法语法的子集。数据在名称/值对中数据由逗号分隔大括号保存对象中括号保存数组注意:json的key是字符串,且必须是双引号,不能是单引号...

MySQL JSON数据类型操作(mysql的json)

概述mysql自5.7.8版本开始,就支持了json结构的数据存储和查询,这表明了mysql也在不断的学习和增加nosql数据库的有点。但mysql毕竟是关系型数据库,在处理json这种非结构化的数据...

JSON的数据模式(json数据格式示例)

像XML模式一样,JSON数据格式也有Schema,这是一个基于JSON格式的规范。JSON模式也以JSON格式编写。它用于验证JSON数据。JSON模式示例以下代码显示了基本的JSON模式。{"...

前端学习——JSON格式详解(后端json格式)

JSON(JavaScriptObjectNotation)是一种轻量级的数据交换格式。易于人阅读和编写。同时也易于机器解析和生成。它基于JavaScriptProgrammingLa...

什么是 JSON:详解 JSON 及其优势(什么叫json)

现在程序员还有谁不知道JSON吗?无论对于前端还是后端,JSON都是一种常见的数据格式。那么JSON到底是什么呢?JSON的定义...

PostgreSQL JSON 类型:处理结构化数据

PostgreSQL提供JSON类型,以存储结构化数据。JSON是一种开放的数据格式,可用于存储各种类型的值。什么是JSON类型?JSON类型表示JSON(JavaScriptO...

JavaScript:JSON、三种包装类(javascript 包)

JOSN:我们希望可以将一个对象在不同的语言中进行传递,以达到通信的目的,最佳方式就是将一个对象转换为字符串的形式JSON(JavaScriptObjectNotation)-JS的对象表示法...

Python数据分析 只要1分钟 教你玩转JSON 全程干货

Json简介:Json,全名JavaScriptObjectNotation,JSON(JavaScriptObjectNotation(记号、标记))是一种轻量级的数据交换格式。它基于J...

比较一下JSON与XML两种数据格式?(json和xml哪个好)

JSON(JavaScriptObjectNotation)和XML(eXtensibleMarkupLanguage)是在日常开发中比较常用的两种数据格式,它们主要的作用就是用来进行数据的传...

取消回复欢迎 发表评论:

请填写验证码