🔍 Как найти дубликаты в pandas и избежать их?

Для поиска дубликатов в Pandas можно использовать метод duplicated().

Вот пример кода:

import pandas as pd

# Создание примера DataFrame с дубликатами
df = pd.DataFrame({'col1': [1, 2, 3, 3, 4, 5],
                   'col2': ['a', 'b', 'c', 'c', 'd', 'e']})

# Поиск дубликатов
duplicates = df[df.duplicated()]

# Вывод найденных дубликатов
print(duplicates)

Как посмотреть дубликаты в pandas

Во многих задачах обработки данных возникает необходимость проверить наличие дубликатов в DataFrame в библиотеке pandas. Дубликаты могут привести к неверным результатам анализа данных, поэтому важно уметь их обнаружить и удалить.

Импорт библиотеки pandas

Для работы с DataFrame и выполнения операций над данными нам понадобится библиотека pandas. Для начала, импортируем ее в нашу программу следующим образом:

import pandas as pd
    

Создание DataFrame

Для демонстрации работы с дубликатами создадим простой DataFrame с несколькими строками:

data = {'Name': ['John', 'Jane', 'John', 'David'],
        'Age': [25, 30, 25, 35],
        'City': ['New York', 'Paris', 'New York', 'London']}
df = pd.DataFrame(data)
    

Проверка наличия дубликатов

Чтобы проверить наличие дубликатов в DataFrame, мы можем использовать метод duplicated(). Он возвращает логическую серию, где True указывает на то, что строка является дубликатом, а False - что строка является уникальной:

duplicates = df.duplicated()
print(duplicates)
    

В этом примере результат будет следующим:

0    False
1    False
2     True
3    False
dtype: bool
    

Подсчет дубликатов

Чтобы узнать общее количество дубликатов в DataFrame, мы можем использовать метод sum() после метода duplicated():

total_duplicates = df.duplicated().sum()
print(f"Total duplicates: {total_duplicates}")
    

В результате будет выведено общее количество дубликатов:

Total duplicates: 1
    

Удаление дубликатов

Для удаления дубликатов из DataFrame мы можем использовать метод drop_duplicates(). Он удаляет все дубликаты и возвращает новый DataFrame:

df_unique = df.drop_duplicates()
print(df_unique)
    

Результатом будет DataFrame, в котором все дубликаты были удалены:

   Name  Age      City
0  John   25  New York
1  Jane   30     Paris
3  David   35    London
    

Удаление дубликатов в определенных столбцах

Если мы хотим удалить дубликаты только в определенных столбцах, мы можем передать список этих столбцов в параметр subset метода drop_duplicates():

df_unique_subset = df.drop_duplicates(subset=['Name', 'City'])
print(df_unique_subset)
    

Результатом будет DataFrame, в котором дубликаты среди столбцов "Name" и "City" были удалены:

   Name  Age      City
0  John   25  New York
1  Jane   30     Paris
3  David   35    London
    

Заключение

В этой статье мы рассмотрели, как проверить наличие дубликатов в DataFrame с помощью библиотеки pandas. Мы использовали методы duplicated() для проверки и drop_duplicates() для удаления дубликатов. Умение обнаруживать и удалять дубликаты является важным навыком при работе с данными, и поможет вам получить правильные результаты в анализе и моделировании данных.