百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 编程字典 > 正文

使用Python实现多个Excel工作簿数据汇总

toyiye 2024-08-16 05:12 7 浏览 0 评论

需要的Python库

  • 【os】用于路径下文件名称获取
  • 【time】用于输入时间进度等
  • 【pandas】读取数据并处理汇总
  • 【xlrd】pip install xlrd,读取Excel相关库pandas依赖
  • 【openpyxl】pip install openpyxl,Excel相关库

导入相关包

import os
import time
import pandas as pd

数据读取与汇总

pandas的Excel读取方法

pd.read_excel(
    io,
    sheet_name=0,
    header=0,
    names=None,
    index_col=None,
    usecols=None,
    squeeze=False,
    dtype=None,
    engine=None,
    converters=None,
    true_values=None,
    false_values=None,
    skiprows=None,
    nrows=None,
    na_values=None,
    keep_default_na=True,
    verbose=False,
    parse_dates=False,
    date_parser=None,
    thousands=None,
    comment=None,
    skipfooter=0,
    convert_float=True,
    mangle_dupe_cols=True,
    **kwds,
)

编写函数实现目录文件循环读取

函数返回一个汇总数据的DataFrame

    def 读取Excel(excel_path):
        read_time=time.time()
        print('{} 准备读取"{}"路径下的文件!'.format(time.strftime('%Y-%m-%d %H:%M:%S'),excel_path))
        items=[item[2] for item in os.walk(excel_path)]
        files=items[0]
        print('{} 该路径下存在【{}】个文件!'.format(time.strftime('%Y-%m-%d %H:%M:%S'),len(files)))
        data=None
        print('{} 正在读取:{}'.format(time.strftime('%Y-%m-%d %H:%M:%S'),files[0]))
        n=None# 设置跳过读取的行数读取文件从第几行之后开始
        data=pd.read_excel('{}/{}'.format(excel_path,files[0]), skiprows=n)
        for file in files[1:]:
            print('{} 正在读取:{}'.format(time.strftime('%Y-%m-%d %H:%M:%S'),file))
            df=pd.read_excel('{}/{}'.format(excel_path,file), skiprows=n)
            data=pd.concat([data,df])
        print('{} 数据读取完成,用时{:.2f}秒!'.format(time.strftime('%Y-%m-%d %H:%M:%S'),time.time()-read_time))
        return data

汇总数据存储

pandas中DataFrame保存为Excel的方法

pd.read_excel(
    io,
    sheet_name=0,
    header=0,
    names=None,
    index_col=None,
    usecols=None,
    squeeze=False,
    dtype=None,
    engine=None,
    converters=None,
    true_values=None,
    false_values=None,
    skiprows=None,
    nrows=None,
    na_values=None,
    keep_default_na=True,
    verbose=False,
    parse_dates=False,
    date_parser=None,
    thousands=None,
    comment=None,
    skipfooter=0,
    convert_float=True,
    mangle_dupe_cols=True,
    **kwds,
)

编写函数实现数据保存

    def 存储Excel(path,name,data):
    # 函数传入参数为保存时文件路径,文件名,以及需要保存的数据(自定义读取函数返回结果)
        save_time=time.time()
        print('{} 正在保存数据,请耐心等待……!'.format(time.strftime('%Y-%m-%d %H:%M:%S')))
        try:
            df=data
            df.to_excel('{}/{}'.format(path,name))
            print('{} 数据已保存至:"{}/{}"!'.format(time.strftime('%Y-%m-%d %H:%M:%S'),path,name))
        except BaseException as e:
            print('{} 数据保存失败\n 错误信息为:{}'.format(time.strftime('%Y-%m-%d %H:%M:%S'),e))
        print('{} 数据存储完毕,用时{:.2f}秒!'.format(time.strftime('%Y-%m-%d %H:%M:%S'),time.time()-save_time))

程序封装与全代码

import os
import time
import pandas as pd
# pip install xlrd
# pip install openpyxl

class Excel操作:
    def 读取Excel(self,excel_path):
        read_time=time.time()
        print('{} 准备读取"{}"路径下的文件!'.format(time.strftime('%Y-%m-%d %H:%M:%S'),excel_path))
        items=[item[2] for item in os.walk(excel_path)]
        files=items[0]
        print('{} 该路径下存在【{}】个文件!'.format(time.strftime('%Y-%m-%d %H:%M:%S'),len(files)))
        data=None
        print('{} 正在读取:{}'.format(time.strftime('%Y-%m-%d %H:%M:%S'),files[0]))
        n=None# 设置跳过读取的行数读取文件从第几行之后开始
        data=pd.read_excel('{}/{}'.format(excel_path,files[0]), skiprows=n)
        for file in files[1:]:
            print('{} 正在读取:{}'.format(time.strftime('%Y-%m-%d %H:%M:%S'),file))
            df=pd.read_excel('{}/{}'.format(excel_path,file), skiprows=n)
            data=pd.concat([data,df])
        print('{} 数据读取完成,用时{:.2f}秒!'.format(time.strftime('%Y-%m-%d %H:%M:%S'),time.time()-read_time))
        return data
    
    def 存储Excel(self,path,name,data):
        save_time=time.time()
        print('{} 正在保存数据,请耐心等待……!'.format(time.strftime('%Y-%m-%d %H:%M:%S')))
        try:
            df=data
            df.to_excel('{}/{}'.format(path,name))
            print('{} 数据已保存至:"{}/{}"!'.format(time.strftime('%Y-%m-%d %H:%M:%S'),path,name))
        except BaseException as e:
            print('{} 数据保存失败\n 错误信息为:{}'.format(time.strftime('%Y-%m-%d %H:%M:%S'),e))
        print('{} 数据存储完毕,用时{:.2f}秒!'.format(time.strftime('%Y-%m-%d %H:%M:%S'),time.time()-save_time))
    
    def 运行(self,excel_path,path,name):
        '''
        

        Parameters
        ----------
        excel_path : TYPE
            读取数据目录.
        path : TYPE
            保存数据路径.
        name : TYPE
            保存数据文件名(xxx.xlsx).

        Returns
        -------
        None.

        '''
        start_time=time.time()
        data=self.读取Excel(excel_path)
        self.存储Excel(path, name, data)
        print('{} 程序运行结束,用时{:.2f}秒!'.format(time.strftime('%Y-%m-%d %H:%M:%S'),time.time()-start_time))
    
    
    
if __name__=='__main__':
    Excel=Excel操作()
    # 运行参数设置
    excel_path=''
    path=''
    name='汇总输出.xlsx'

    Excel.运行(excel_path,path,name)

运行演示


相关推荐

# Python 3 # Python 3字典Dictionary(1)

Python3字典字典是另一种可变容器模型,且可存储任意类型对象。字典的每个键值(key=>value)对用冒号(:)分割,每个对之间用逗号(,)分割,整个字典包括在花括号({})中,格式如...

Python第八课:数据类型中的字典及其函数与方法

Python3字典字典是另一种可变容器模型,且可存储任意类型对象。字典的每个键值...

Python中字典详解(python 中字典)

字典是Python中使用键进行索引的重要数据结构。它们是无序的项序列(键值对),这意味着顺序不被保留。键是不可变的。与列表一样,字典的值可以保存异构数据,即整数、浮点、字符串、NaN、布尔值、列表、数...

Python3.9又更新了:dict内置新功能,正式版十月见面

机器之心报道参与:一鸣、JaminPython3.8的热乎劲还没过去,Python就又双叒叕要更新了。近日,3.9版本的第四个alpha版已经开源。从文档中,我们可以看到官方透露的对dic...

Python3 基本数据类型详解(python三种基本数据类型)

文章来源:加米谷大数据Python中的变量不需要声明。每个变量在使用前都必须赋值,变量赋值以后该变量才会被创建。在Python中,变量就是变量,它没有类型,我们所说的"类型"是变...

一文掌握Python的字典(python字典用法大全)

字典是Python中最强大、最灵活的内置数据结构之一。它们允许存储键值对,从而实现高效的数据检索、操作和组织。本文深入探讨了字典,涵盖了它们的创建、操作和高级用法,以帮助中级Python开发...

超级完整|Python字典详解(python字典的方法或操作)

一、字典概述01字典的格式Python字典是一种可变容器模型,且可存储任意类型对象,如字符串、数字、元组等其他容器模型。字典的每个键值key=>value对用冒号:分割,每个对之间用逗号,...

Python3.9版本新特性:字典合并操作的详细解读

处于测试阶段的Python3.9版本中有一个新特性:我们在使用Python字典时,将能够编写出更可读、更紧凑的代码啦!Python版本你现在使用哪种版本的Python?3.7分?3.5分?还是2.7...

python 自学,字典3(一些例子)(python字典有哪些基本操作)

例子11;如何批量复制字典里的内容2;如何批量修改字典的内容3;如何批量修改字典里某些指定的内容...

Python3.9中的字典合并和更新,几乎影响了所有Python程序员

全文共2837字,预计学习时长9分钟Python3.9正在积极开发,并计划于今年10月发布。2月26日,开发团队发布了alpha4版本。该版本引入了新的合并(|)和更新(|=)运算符,这个新特性几乎...

Python3大字典:《Python3自学速查手册.pdf》限时下载中

最近有人会想了,2022了,想学Python晚不晚,学习python有前途吗?IT行业行业薪资高,发展前景好,是很多求职群里严重的香饽饽,而要进入这个高薪行业,也不是那么轻而易举的,拿信工专业的大学生...

python学习——字典(python字典基本操作)

字典Python的字典数据类型是基于hash散列算法实现的,采用键值对(key:value)的形式,根据key的值计算value的地址,具有非常快的查取和插入速度。但它是无序的,包含的元素个数不限,值...

324页清华教授撰写【Python 3 菜鸟查询手册】火了,小白入门字典

如何入门学习python...

Python3.9中的字典合并和更新,了解一下

全文共2837字,预计学习时长9分钟Python3.9正在积极开发,并计划于今年10月发布。2月26日,开发团队发布了alpha4版本。该版本引入了新的合并(|)和更新(|=)运算符,这个新特性几乎...

python3基础之字典(python中字典的基本操作)

字典和列表一样,也是python内置的一种数据结构。字典的结构如下图:列表用中括号[]把元素包起来,而字典是用大括号{}把元素包起来,只不过字典的每一个元素都包含键和值两部分。键和值是一一对应的...

取消回复欢迎 发表评论:

请填写验证码