🔧 Как разбить файл csv на части с помощью Python?

Как разбить файл CSV на части с помощью Python

Разделение больших файлов CSV на более мелкие части может быть полезным, особенно если вам нужно обрабатывать или анализировать данные по частям. В этой статье мы рассмотрим подробный способ разбиения файла CSV на части с использованием языка программирования Python.

Шаг 1: Загрузка файла CSV

Первым шагом является загрузка файла CSV в вашу программу Python. Для этого вы можете использовать модуль csv, который поставляется вместе с языком Python. Начните с импорта модуля csv, а затем откройте файл CSV с помощью функции open().

import csv

filename = "file.csv"

with open(filename, "r") as file:
    # Ваш код для чтения файла CSV
    

Шаг 2: Создание частей файла CSV

После загрузки файла CSV вам необходимо создать части файла в соответствии с вашими требованиями. Для этого вы можете использовать функцию чтения файла объекта csv.reader(). Вы также можете определить размер каждой части, чтобы управлять количеством строк, попадающих в каждую часть.

В приведенном ниже примере кода файл CSV разбивается на части, содержащие по 100 строк:

import csv

filename = "file.csv"
chunk_size = 100

with open(filename, "r") as file:
    reader = csv.reader(file)
    header = next(reader)  # Пропускаем заголовок (если есть)

    count = 1
    current_chunk = []
    for row in reader:
        current_chunk.append(row)
        if len(current_chunk) == chunk_size:
            save_chunk(current_chunk, count)  # Сохраняем текущую часть в файл
            current_chunk = []
            count += 1

    # Сохраняем последнюю часть (если есть)
    if current_chunk:
        save_chunk(current_chunk, count)

Функция save_chunk() является пользовательской функцией, которая сохраняет текущую часть в новый файл CSV. Вам нужно определить эту функцию в соответствии с вашими потребностями.

Шаг 3: Сохранение частей в файлы

В предыдущем шаге мы разделили файл CSV на части, но еще не сохранили их в отдельные файлы. В этом шаге мы будем сохранять каждую часть в отдельный файл CSV.

В функции save_chunk() вы можете использовать модуль csv и функцию записи csv.writer() для сохранения текущей части в файл CSV.

import csv

def save_chunk(chunk, count):
    filename = f"chunk_{count}.csv"
    with open(filename, "w", newline="") as file:
        writer = csv.writer(file)
        writer.writerow(header)  # Записываем заголовок (если есть)
        writer.writerows(chunk)

Функция save_chunk() принимает два параметра: текущую часть (chunk) и счетчик (count) для определения имени файла. Где filename = f"chunk_{count}.csv" создает уникальное имя файла для каждой части.

Шаг 4: Завершение процесса разбиения

После завершения процесса разделения файла CSV вы можете убедиться, что все части были сохранены корректно. Теперь вы можете использовать каждую часть в своей программе по вашему усмотрению.

Полный код для разбиения файла CSV на части

import csv

def save_chunk(chunk, count):
    filename = f"chunk_{count}.csv"
    with open(filename, "w", newline="") as file:
        writer = csv.writer(file)
        writer.writerow(header)  # Записываем заголовок (если есть)
        writer.writerows(chunk)

filename = "file.csv"
chunk_size = 100

with open(filename, "r") as file:
    reader = csv.reader(file)
    header = next(reader)  # Пропускаем заголовок (если есть)

    count = 1
    current_chunk = []
    for row in reader:
        current_chunk.append(row)
        if len(current_chunk) == chunk_size:
            save_chunk(current_chunk, count)  # Сохраняем текущую часть в файл
            current_chunk = []
            count += 1

    # Сохраняем последнюю часть (если есть)
    if current_chunk:
        save_chunk(current_chunk, count)

Заключение

На этом этапе вы должны иметь полное представление о том, как разбить файл CSV на части с помощью языка программирования Python. Начните с загрузки файла CSV, определите размеры частей, разделите файл на части и сохраните каждую часть в отдельный файл. Этот процесс может быть очень полезным, особенно при работе с большими наборами данных.

Теперь вы готовы приступить к разделению файлов CSV в своих собственных проектах Python. Удачи!