Как удалить nan из pandas df: руководство по обработке пропущенных значений

Как удалить значения NaN из Dataframe в pandas?

Для удаления значений NaN (Not a Number) из Dataframe в pandas, вы можете воспользоваться методом dropna().

import pandas as pd

# Создаем пример DataFrame с несколькими значениями NaN
data = {'A': [1, 2, np.nan, 4],
        'B': [5, np.nan, 7, 8],
        'C': [np.nan, 10, 11, 12]}
df = pd.DataFrame(data)

# Удаляем значения NaN
df.dropna(inplace=True)
print(df)
    

В данном примере мы создаем DataFrame df с несколькими значениями NaN, затем используем метод dropna() с аргументом inplace=True, чтобы удалить строки, содержащие значения NaN. Затем выводим результат удаления на экран.

Убираем NaN значения из Pandas DataFrame

Когда мы работаем с данными в Python, часто мы сталкиваемся с пропущенными значениями (NaN). Они могут появляться по разным причинам, таким как ошибки при сборе данных, ошибки при вводе или просто отсутствие значения в определенных ячейках данных.

Что такое NaN значения?

NaN (Not a Number) - это специальное значение, которое используется в pandas для представления отсутствующих или неверных данных. Оно является частью библиотеки NumPy, на которой основан pandas. NaN значения могут появляться в разных типах данных, таких как числа, строки или объекты.

При работе с DataFrame в pandas, мы часто хотим убрать или заменить NaN значения, чтобы упростить анализ данных и обработку данных. Давайте рассмотрим несколько способов, как это можно сделать.

Удаление NaN значений

Pandas предоставляет метод dropna(), который позволяет удалить все строки или столбцы, содержащие NaN значения. Этот метод принимает несколько параметров для точной настройки удаления NaN значений. Давайте рассмотрим несколько примеров.

import pandas as pd

# Создаем пример DataFrame со NaN значениями
data = {'Имя': ['Иван', 'Мария', 'Алексей', None],
        'Возраст': [30, 25, None, 40],
        'Зарплата': [50000, None, 70000, 60000]}
df = pd.DataFrame(data)

# Удаляем все строки, содержащие NaN значения
df.dropna(inplace=True)
print(df)

В этом примере мы создали DataFrame с несколькими строками и столбцами, которые содержат NaN значения. Затем мы используем метод dropna() для удаления всех строк, содержащих NaN значения. Результат будет DataFrame, в котором все NaN значения были удалены.

Мы также можем использовать параметры axis и subset метода dropna(), чтобы удалить столбцы с NaN значениями или удалить строки только из определенных столбцов.

# Удаляем столбцы с NaN значениями
df.dropna(axis=1, inplace=True)

# Удаляем строки только из столбцов "Имя" и "Возраст"
df.dropna(subset=['Имя', 'Возраст'], inplace=True)

Важно отметить, что метод dropna() изменяет исходный DataFrame. Если вы не хотите изменять исходные данные, вы можете сохранить результат в новую переменную:

# Создаем новый DataFrame без NaN значений
df_clean = df.dropna()

Замена NaN значений

Помимо удаления NaN значений, мы также можем заменить их на другие значения. Pandas предоставляет метод fillna(), который позволяет заменить NaN значения определенными значениями или значениями с определенной логикой.

# Заменяем все NaN значения на 0
df.fillna(0, inplace=True)

# Заменяем NaN значения в каждом столбце на среднее значение этого столбца
df.fillna(df.mean(), inplace=True)

В этом примере мы используем метод fillna(), чтобы заменить все NaN значения на 0 и на среднее значение каждого столбца. Мы можем передать любое значение или логику замены в качестве параметра метода fillna().

Кроме того, метод fillna() также может принимать параметр method, который определяет логику замены NaN значений. Например, мы можем использовать метод ffill для заполнения NaN значений предыдущими значениями в столбце:

# Заполняем NaN значения предыдущими значениями в каждом столбце
df.fillna(method='ffill', inplace=True)

В этом примере метод ffill заполняет NaN значения предыдущими значениями в каждом столбце.

Итоги

В статье мы рассмотрели, как убрать или заменить NaN значения в Pandas DataFrame. Мы использовали метод dropna() для удаления NaN значений и метод fillna() для их замены. Помимо базовой функциональности, мы также рассмотрели параметры, позволяющие настраивать процесс удаления и замены NaN значений.