Python批量处理CSV文件，提取指定列并保留原文件名
本文介绍如何使用Python批量处理多个CSV文件，提取指定列的数据，并保持输出文件名与输入文件名的一致性。 这对于需要从大量CSV文件中提取特定信息的情况非常有用。
首先，我们需要导入必要的库：os用于文件路径操作，pandas用于高效处理CSV数据。
接下来，按照以下步骤进行操作：
-
获取CSV文件路径: 使用os.listdir()列出当前目录下所有文件，并筛选出以.csv结尾的文件，得到完整的路径列表。
-
循环处理每个CSV文件: 遍历文件路径列表，对每个CSV文件进行处理。
-
读取CSV文件: 使用pandas.read_csv()函数读取每个CSV文件到一个Pandas DataFrame中。
-
提取指定列: 根据列名（例如’column_name’）提取所需的列数据。
-
处理重复值（可选）: 如果需要去除重复值，可以使用drop_duplicates()方法。 这需要指定检查重复值的列。
-
保存输出文件: 使用to_csv()方法将提取的列数据保存为新的CSV文件。 文件名使用原文件名加上前缀（例如’output_’），确保与原文件对应。
示例代码:
import os import pandas as pd # 获取当前工作目录 cwd = os.getcwd() # 获取所有CSV文件的路径 csv_files = [os.path.join(cwd, file) for file in os.listdir(cwd) if file.endswith('.csv')] # 遍历每个CSV文件 for file_path in csv_files: try: # 读取CSV文件 df = pd.read_csv(file_path) # 提取指定列 (请替换 'column_name' 为实际列名) extracted_column = df['column_name'] # 处理重复值 (可选，请替换 'column_to_check' 为实际列名) # if df['column_to_check'].duplicated().any(): # extracted_column = extracted_column.drop_duplicates() # 创建输出文件名 output_file_path = os.path.join(cwd, 'output_' + os.path.basename(file_path)) # 保存输出文件 extracted_column.to_csv(output_file_path, index=False, header=['column_name']) # 添加header except pd.errors.EmptyDataError: print(f"Warning: File {file_path} is empty. Skipping.") except pd.errors.ParserError: print(f"Warning: Error parsing file {file_path}. Skipping.") except KeyError as e: print(f"Error: Column '{e.args[0]}' not found in {file_path}. Skipping.") print("批量提取完成!")
登录后复制
注意: 请将代码中的’column_name’替换成您需要提取的列的实际名称。 可选的重复值处理部分也需要根据实际情况修改列名。 代码增加了错误处理，可以应对空文件或解析错误的情况。 最后，header=[‘column_name’]确保输出文件包含列名。
以上就是如何批量提取CSV文件指定列并保留原文件名？的详细内容，更多请关注php中文网其它相关文章！
微信扫一扫打赏
支付宝扫一扫打赏
