🧹 Как удалить одинаковые строки в pandas? Простое руководство и советы

Чтобы удалить одинаковые строки в библиотеке pandas, вы можете использовать метод drop_duplicates(). Этот метод удаляет дубликаты строк из DataFrame.

import pandas as pd

# Создание DataFrame с повторяющимися строками
data = {'Колонка1': ['значение1', 'значение2', 'значение1'],
        'Колонка2': ['значениеA', 'значениеB', 'значениеA']}
df = pd.DataFrame(data)

# Удаление дубликатов строк
df_unique = df.drop_duplicates()

# Вывод результата
print(df_unique)

В приведенном примере, метод drop_duplicates() удалит повторяющиеся строки из DataFrame df, оставив только уникальные строки в DataFrame df_unique.

Как удалить одинаковые строки в pandas?

В анализе данных с использованием Python часто возникает необходимость удалить дублирующиеся строки из набора данных. Pandas - это мощная библиотека, которая предоставляет удобные инструменты для работы с данными, включая удаление дубликатов. В этой статье мы рассмотрим несколько способов удалить одинаковые строки в pandas.

Метод drop_duplicates()

Первый и самый простой способ удаления дубликатов в pandas - использовать метод drop_duplicates(). Этот метод позволяет удалить все дубликаты или дубликаты на основе определенных столбцов.

import pandas as pd

# Создание DataFrame
df = pd.DataFrame({'col1': [1, 2, 2, 3, 4, 4],
                   'col2': ['A', 'B', 'B', 'C', 'D', 'D']})

# Удаление дубликатов по всем столбцам
df.drop_duplicates(inplace=True)

print(df)

В результате выполнения этого кода, все дубликаты будут удалены из DataFrame, и останутся только уникальные строки:

   col1 col2
0     1    A
1     2    B
3     3    C
4     4    D

Метод duplicated()

Еще один полезный метод в pandas - duplicated(). В отличие от drop_duplicates(), этот метод возвращает логическую серию, указывающую, является ли каждая строка дубликатом или нет. Мы можем использовать этот метод для фильтрации дублирующихся строк.

# Создание DataFrame
df = pd.DataFrame({'col1': [1, 2, 2, 3, 4, 4],
                   'col2': ['A', 'B', 'B', 'C', 'D', 'D']})

# Отметить дубликаты
duplicates = df.duplicated()

# Фильтрация дублирующихся строк
df_filtered = df[~duplicates]

print(df_filtered)

Теперь в переменной df_filtered у нас есть DataFrame без дублирующихся строк:

   col1 col2
0     1    A
1     2    B
3     3    C
4     4    D

Метод drop_duplicates() с параметром subset

Дополнительно, у метода drop_duplicates() есть параметр subset, который позволяет указать столбцы, по которым нужно проверять дубликаты.

# Создание DataFrame
df = pd.DataFrame({'col1': [1, 2, 2, 3, 4, 4],
                   'col2': ['A', 'B', 'B', 'C', 'D', 'D'],
                   'col3': [10, 20, 20, 30, 40, 40]})

# Удаление дубликатов на основе столбцов 'col1' и 'col2'
df.drop_duplicates(subset=['col1', 'col2'], inplace=True)

print(df)

В этом примере мы указываем, что дубликаты должны проверяться только по столбцам 'col1' и 'col2'. В результате мы получим DataFrame без дублирующихся строк:

   col1 col2  col3
0     1    A    10
1     2    B    20
3     3    C    30
4     4    D    40

Заключение

В этой статье мы рассмотрели несколько способов удаления одинаковых строк в pandas. Методы drop_duplicates() и duplicated() предоставляют удобные методы для удаления дубликатов или фильтрации дублирующихся строк на основе заданных условий. Вы можете использовать эти методы в зависимости от своих потребностей в анализе данных. Удачи в работе с pandas!