🔍 Как правильно разделить выборку на обучающую и тестовую в Python

Как разделить выборку на обучающую и тестовую в Python?

В Python, вы можете использовать библиотеку scikit-learn для разделения выборки на обучающую и тестовую. Вот простой код, показывающий, как это сделать:

from sklearn.model_selection import train_test_split

# Загрузка данных
X = ... # Входные переменные
y = ... # Целевая переменная

# Разделение выборки на обучающую и тестовую
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

В данном примере:

• X представляет собой входные переменные, а y - целевую переменную.
• train_test_split - функция, которая разделяет данные на обучающую и тестовую выборки.
• X_train, X_test, y_train, y_test - это переменные, в которые будут сохранены разделенные выборки.
• test_size=0.2 означает, что 20% данных будут отведены для тестирования, а 80% - для обучения модели. Вы можете изменить этот параметр, чтобы указать другую долю для тестовой выборки.
• random_state=42 - это параметр, который гарантирует, что каждый раз, когда вы запускаете код, разделение будет происходить таким же образом. Если вы хотите получить случайное разделение данных при каждом запуске, просто уберите этот параметр.

Теперь у вас есть обучающая выборка (X_train, y_train) и тестовая выборка (X_test, y_test), которые вы можете использовать для обучения и оценки модели соответственно.

Как разделить выборку на обучающую и тестовую в Python?

Существует несколько методов разделения выборки на обучающую и тестовую. В данной статье мы рассмотрим два наиболее популярных метода: случайное разделение и разделение по времени.

Случайное разделение выборки

Случайное разделение выборки является одним из самых простых и распространенных способов. Он подразумевает случайное перемешивание данных и их последующее разделение на обучающую и тестовую выборки в нужных пропорциях.

Для выполнения случайного разделения в Python мы можем использовать функцию train_test_split из библиотеки scikit-learn. Посмотрим на пример кода:

from sklearn.model_selection import train_test_split

# Предположим, что у нас есть выборка X и метки y
X = [[1, 2], [3, 4], [5, 6], [7, 8]]
y = [0, 1, 0, 1]

# Разделяем выборку на обучающую и тестовую (соотношение 70:30)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)
    

В этом примере мы использовали функцию train_test_split, передавая ей массивы данных X и метки y в качестве аргументов, а также указывая желаемое соотношение между обучающей и тестовой выборками с помощью аргумента test_size. В данном случае мы указали, что 30% данных должны быть отведены для тестирования.

Разделение выборки по времени

Разделение выборки по времени является предпочтительным в случаях, когда у нас есть временные данные, например, временной ряд. Он позволяет использовать наиболее актуальные данные для тестирования модели.

Для разделения выборки по времени в Python мы можем воспользоваться различными методами. Рассмотрим пример, используя модуль pandas:

import pandas as pd

# Предположим, что у нас есть DataFrame df с временными данными
df = pd.DataFrame({'date': ['2022-01-01', '2022-01-02', '2022-01-03', '2022-01-04'],
                   'value': [1, 2, 3, 4]})

# Переводим столбец 'date' в формат даты
df['date'] = pd.to_datetime(df['date'])

# Разделяем выборку на обучающую и тестовую (по дате)
train_df = df[df['date'] < '2022-01-03']
test_df = df[df['date'] >= '2022-01-03']
    

В данном примере мы использовали модуль pandas для работы с временными данными. Мы сначала перевели столбец с датой в формат даты с помощью функции pd.to_datetime. Затем мы разделили выборку на обучающую и тестовую, используя операторы сравнения по дате.

Выбор способа разделения

Выбор конкретного способа разделения выборки зависит от конкретных требований задачи и доступных данных. Если у вас нет временных данных, вы можете использовать случайное разделение. Если у вас есть временные данные, разделение по времени может быть предпочтительным.

Более подробная информация об этих методах и других подходах к разделению выборки может быть найдена в документации библиотеки scikit-learn и pandas.

Вывод

В этой статье мы рассмотрели два популярных способа разделения выборки на обучающую и тестовую в Python: случайное разделение и разделение по времени. Оба метода имеют свои преимущества и можно выбрать подходящий в зависимости от требований задачи.

Не забывайте экспериментировать с различными способами разделения и анализировать результаты, чтобы определить оптимальный подход для вашей конкретной задачи.