Как и зачем использовать тип данных category в библиотеке pandas? 🐼📊

Тип данных category в библиотеке pandas предназначен для экономии памяти и улучшения производительности, когда у нас есть колонки с ограниченным набором уникальных значений.

При использовании category, pandas хранит каждое уникальное значение только один раз и заменяет все повторы этого значения ссылкой на оригинал, что сокращает размер данных и их обработку.

Вот пример:

import pandas as pd

# Создаем DataFrame с колонкой fruit
data = {'fruit': ['apple', 'banana', 'apple', 'banana', 'apple']}
df = pd.DataFrame(data)

# Преобразуем колонку fruit в тип category
df['fruit'] = df['fruit'].astype('category')

# Выводим информацию о типах данных
print(df.dtypes)

Этот код отображает тип данных колонки fruit как category, что означает, что значения будут храниться в сжатой форме, экономя память.

Тип данных category также позволяет выполнять различные операции, такие как сравнения и группировки, с уникальными значениями более эффективно.

Для чего в pandas предназначен тип данных category

В библиотеке pandas, тип данных category является одним из специальных типов данных, предназначенных для эффективной работы с категориальными переменными. Категориальные переменные представляют собой переменные, которые принимают ограниченное количество уникальных значений, такие как категории, статусы или имена.

Использование типа данных category в pandas имеет несколько преимуществ:

• Экономия памяти: Тип данных category использует меньше памяти, чем тип данных object или string, особенно в случае, когда уникальных значений немного, но часто повторяются. Это может быть полезно при работе с большими объемами данных, когда оптимизация потребления памяти является важным фактором.
• Увеличение скорости выполнения операций: При использовании типа данных category, pandas внутренне оптимизирует операции, связанные с категориальными данными. Это может существенно ускорить выполнение операций с этими переменными.
• Легкость работы с категориями: В pandas предоставляются удобные методы для работы с категориальными данными. Например, вы можете легко изменить категории или изменить порядок категорий с помощью методов, таких как .cat.rename_categories() и .cat.reorder_categories().
• Поддержка упорядоченных категорий: Тип данных category также поддерживает упорядоченные категории. Это полезно, когда вы имеете дело с переменными, которые имеют естественный порядок, такие как значения относящиеся к ранжированию или времени.

Рассмотрим пример использования типа данных category:

import pandas as pd

# Создание категориальной серии
s = pd.Series(['красный', 'зеленый', 'синий', 'красный', 'синий'], dtype="category")

# Вывод информации о серии
print(s)

В этом примере мы создаем серию с категориальными значениями и указываем тип данных category. Затем мы выводим информацию о серии и видим, что она хранится как объект типа category.

Использование типа данных category может быть особенно полезным при выполнении операций, связанных с группировкой, агрегацией данных или построением сводных таблиц. Например, вы можете легко создать сводную таблицу, отображающую количество наблюдений для каждой категории:

# Создание категориального столбца
df = pd.DataFrame({'цвет': ['красный', 'зеленый', 'синий', 'красный', 'синий']})

# Преобразование столбца в тип данных category
df['цвет'] = df['цвет'].astype('category')

# Построение сводной таблицы
pivot_table = df.pivot_table(index='цвет', aggfunc='size')

# Вывод сводной таблицы
print(pivot_table)

В этом примере мы создаем категориальный столбец, преобразуем его в тип данных category и затем используем метод pivot_table() для создания сводной таблицы, отображающей количество наблюдений для каждой категории. Результат выводится на экран.

Итак, тип данных category в pandas предназначен для эффективной работы с категориальными переменными, с фокусом на оптимизацию потребления памяти и увеличение производительности операций с этими переменными. Он обеспечивает легкость работы с категориями, поддержку упорядоченных категорий и предоставляет удобные методы для работы с категориальными данными.

Надеюсь, этот материал поможет вам лучше понять и использовать тип данных category в библиотеке pandas.