🔍 Как сделать кросс-валидацию в Python: 5 простых шагов

Кросс-валидация в Python может быть выполнена с использованием библиотеки scikit-learn. Вот пример кода:

    from sklearn.model_selection import cross_val_score
    from sklearn.linear_model import LogisticRegression

    # создаем модель логистической регрессии
    model = LogisticRegression()

    # определяем данные и метки
    X = данные
    y = метки

    # выполняем кросс-валидацию с использованием 5 фолдов
    scores = cross_val_score(model, X, y, cv=5)

    # выводим результаты
    print("Средняя точность: {:.2f}".format(scores.mean()))
    

В этом примере мы используем LogisticRegression из библиотеки scikit-learn для выполнения кросс-валидации. Мы указываем данные и метки, а затем вызываем функцию cross_val_score, передавая модель, данные, метки и количество фолдов (cv=5). Результаты выводятся в консоль с использованием форматирования строк "{:.2f}" для вывода двух десятичных знаков после запятой. Не забудьте импортировать необходимые библиотеки и заменить «данные» и «метки» на соответствующие переменные в вашем конкретном случае.

Как сделать кросс-валидацию в Python

Кросс-валидация является одним из важных методов оценки моделей машинного обучения. Она позволяет оценить производительность модели на независимых данных и таким образом избежать переобучения. В данной статье мы рассмотрим, как провести кросс-валидацию в Python, используя библиотеку scikit-learn.

1. Введение

Кросс-валидация (cross-validation) — это метод, который позволяет оценить обобщающую способность модели. Для этого данные разбиваются на несколько обучающих и тестовых подвыборок, после чего модель обучается на одной подвыборке и тестируется на другой. Такой подход позволяет получить более объективную оценку производительности модели.

2. Кросс-валидация K-Fold

Один из наиболее распространенных методов кросс-валидации - K-Fold. Он заключается в разделении данных на K частей (называемых фолдами), и используется K-1 фолд для обучения модели и оставшийся фолд для тестирования. Данный процесс повторяется K раз, каждый раз с разной комбинацией обучающих и тестовых фолдов. После этого мы можем усреднить результаты, чтобы получить более надежную оценку производительности модели.

Вот пример кода, демонстрирующий использование кросс-валидации K-Fold:

from sklearn.model_selection import cross_val_score
from sklearn.linear_model import LogisticRegression
from sklearn.datasets import load_iris

# Загружаем данные
data = load_iris()
X = data.data
y = data.target

# Создаем модель логистической регрессии
model = LogisticRegression()

# Выполняем кросс-валидацию с 5-мя фолдами
scores = cross_val_score(model, X, y, cv=5)

# Выводим усредненную оценку производительности
print("Усредненная оценка производительности:", scores.mean())

    

В данном примере мы используем модель логистической регрессии для задачи классификации и кросс-валидацию с 5-ю фолдами. Мы выводим усредненную оценку производительности модели на всех фолдах.

3. Разделение на обучающую и тестовую выборки

Другой способ проведения кросс-валидации - разделение на обучающую и тестовую выборки с использованием функции train_test_split из модуля sklearn.model_selection. Эта функция случайным образом разбивает данные на обучающую и тестовую выборки, после чего мы можем использовать их для кросс-валидации.

Вот пример кода, демонстрирующий разделение на обучающую и тестовую выборки:

from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.datasets import load_iris

# Загружаем данные
data = load_iris()
X = data.data
y = data.target

# Разделяем данные на обучающую и тестовую выборки
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2)

# Создаем модель логистической регрессии
model = LogisticRegression()

# Обучаем модель на обучающей выборке
model.fit(X_train, y_train)

# Оцениваем производительность модели на тестовой выборке
score = model.score(X_test, y_test)

# Выводим оценку производительности
print("Оценка производительности:", score)

    

В данном примере мы загружаем данные, разделяем их на обучающую (80% от исходных данных) и тестовую (20% от исходных данных) выборки с помощью функции train_test_split, а затем создаем и обучаем модель логистической регрессии. В конце мы оцениваем производительность модели на тестовой выборке.

Заключение

В данной статье мы рассмотрели два способа проведения кросс-валидации в Python с использованием библиотеки scikit-learn. Кросс-валидация позволяет оценить производительность модели на независимых данных и избежать переобучения. Это очень полезный инструмент при работе с моделями машинного обучения.