Как исследовать баланс классов Python? 📊✅

Как исследовать баланс классов в Python?

Для исследования баланса классов в Python вы можете использовать следующие подходы:

1. Подсчет количества примеров в каждом классе

Чтобы узнать, сколько примеров есть в каждом классе, можно воспользоваться функцией value_counts() из библиотеки pandas:

import pandas as pd

# Создание DataFrame с целевой переменной
data = {'class': ['A', 'A', 'B', 'B', 'B', 'C']}
df = pd.DataFrame(data)

# Подсчет количества примеров в каждом классе
class_counts = df['class'].value_counts()
print(class_counts)

Результат выполнения кода покажет количество примеров в каждом классе.

2. Визуализация баланса классов

Еще один способ исследовать баланс классов - визуализировать данные. Вы можете использовать библиотеку matplotlib для построения гистограммы:

import pandas as pd
import matplotlib.pyplot as plt

# Создание DataFrame с целевой переменной
data = {'class': ['A', 'A', 'B', 'B', 'B', 'C']}
df = pd.DataFrame(data)

# Визуализация баланса классов
class_counts = df['class'].value_counts()
class_counts.plot(kind='bar')
plt.xlabel('Классы')
plt.ylabel('Количество примеров')
plt.show()

Гистограмма покажет распределение примеров по классам.

3. Использование метрик баланса классов

Еще одним способом исследования баланса классов является использование метрик, таких как точность (accuracy), полнота (recall) и F1-мера (F1-score). Вы можете использовать функции из библиотеки scikit-learn для их расчета:

from sklearn.metrics import accuracy_score, recall_score, f1_score

# Создание истинных и предсказанных меток классов
y_true = ['A', 'A', 'B', 'B', 'B', 'C']
y_pred = ['A', 'B', 'B', 'B', 'B', 'C']

# Расчет метрик баланса классов
accuracy = accuracy_score(y_true, y_pred)
recall = recall_score(y_true, y_pred, average='macro')
f1 = f1_score(y_true, y_pred, average='macro')

print(f"Точность: {accuracy}")
print(f"Полнота: {recall}")
print(f"F1-мера: {f1}")

Результат выполнения кода покажет значения метрик баланса классов.

Как исследовать баланс классов в Python

Исследование баланса классов - важная задача при работе с задачами классификации в машинном обучении. Это позволяет определить, насколько данных у нас есть для каждого класса и принять соответствующие меры для балансировки данных или выбора подходящей модели. Давайте рассмотрим, как провести исследование баланса классов в Python.

1. Загрузка данных

Прежде чем проводить исследование баланса классов, необходимо загрузить данные. Предположим, что у нас есть набор данных, содержащий признаки (features) и соответствующие метки классов (labels). Воспользуемся библиотекой pandas для загрузки данных из CSV файла:

import pandas as pd

data = pd.read_csv('data.csv')
features = data.drop('label', axis=1)
labels = data['label']
        

2. Исследование баланса классов

Теперь, когда у нас есть загруженные данные, можно приступить к исследованию баланса классов. Первым шагом может быть подсчет количества примеров для каждого класса:

class_counts = labels.value_counts()
print(class_counts)
        

Этот код подсчитывает количество примеров для каждого класса и выводит результат. Например, если у нас есть два класса - "класс 0" и "класс 1", то результат может выглядеть следующим образом:

класс 0: 1000
класс 1: 500
        

Вторым шагом может быть визуализация баланса классов с помощью графиков. Можно использовать библиотеку matplotlib:

import matplotlib.pyplot as plt

class_counts.plot(kind='bar')
plt.xlabel('Классы')
plt.ylabel('Количество примеров')
plt.title('Баланс классов')
plt.show()
        

3. Балансировка классов

Если обнаружится дисбаланс классов, то можно применить различные техники балансировки. Некоторыми из них являются:

• Undersampling: уменьшение числа примеров в преобладающем классе.
• Oversampling: увеличение числа примеров в менее преобладающем классе.
• Synthetic Minority Over-sampling Technique (SMOTE): генерация синтетических примеров для менее преобладающего класса.

Пример кода для применения undersampling:

from imblearn.under_sampling import RandomUnderSampler

rus = RandomUnderSampler()
features_resampled, labels_resampled = rus.fit_resample(features, labels)
        

4. Выбор модели

После балансировки классов можно приступить к выбору модели машинного обучения. Рекомендуется использовать модели, которые хорошо справляются с дисбалансом классов, например:

• Random Forest
• Gradient Boosting
• Support Vector Machines (SVM)

Пример кода для обучения модели Random Forest:

from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score

X_train, X_test, y_train, y_test = train_test_split(features_resampled, labels_resampled, test_size=0.2, random_state=42)

model = RandomForestClassifier()
model.fit(X_train, y_train)

predictions = model.predict(X_test)
accuracy = accuracy_score(y_test, predictions)
print("Accuracy:", accuracy)
        

Заключение

Исследование баланса классов является важной частью процесса анализа данных и построения моделей машинного обучения. В данной статье мы рассмотрели, как провести исследование баланса классов в Python, включая загрузку данных, подсчет количества примеров для каждого класса, визуализацию баланса классов и применение техник балансировки. Также был представлен пример выбора и обучения модели машинного обучения.