Логистическая регрессия — это статистический метод, который мы используем для подбора модели регрессии, когда переменная отклика является бинарной. Чтобы оценить, насколько хорошо модель логистической регрессии соответствует набору данных, мы можем взглянуть на следующие две метрики:
- Чувствительность: вероятность того, что модель предсказывает положительный результат для наблюдения, когда результат действительно положительный. Это также называется «истинно положительным показателем».
- Специфичность: вероятность того, что модель предсказывает отрицательный результат для наблюдения, когда результат действительно отрицательный. Это также называется «истинной отрицательной ставкой».
Один из способов визуализировать эти две метрики — создать кривую ROC , которая означает кривую «рабочей характеристики приемника». Это график, отображающий чувствительность и специфичность модели логистической регрессии.
В следующем пошаговом примере показано, как создать и интерпретировать кривую ROC в Python.
Шаг 1: Импортируйте необходимые пакеты
Во-первых, мы импортируем пакеты, необходимые для выполнения логистической регрессии в Python:
import pandas as pd
import numpy as np
from sklearn. model_selection import train_test_split
from sklearn. linear_model import LogisticRegression
from sklearn import metrics
import matplotlib.pyplot as plt
Шаг 2: Подберите модель логистической регрессии
Далее мы импортируем набор данных и подгоним к нему модель логистической регрессии:
#import dataset from CSV file on Github
url = "https://raw.githubusercontent.com/Statology/Python-Guides/main/default.csv"
data = pd.read_csv (url)
#define the predictor variables and the response variable
X = data[['student', 'balance', 'income']]
y = data['default']
#split the dataset into training (70%) and testing (30%) sets
X_train,X_test,y_train,y_test = train_test_split(X,y,test_size=0.3,random_state=0)
#instantiate the model
log_regression = LogisticRegression()
#fit the model using the training data
log_regression. fit (X_train,y_train)
Шаг 3: Постройте кривую ROC
Далее мы рассчитаем долю истинных положительных и ложных положительных результатов и создадим кривую ROC с помощью пакета визуализации данных Matplotlib:
#define metrics
y_pred_proba = log_regression. predict_proba (X_test)[::,1]
fpr, tpr, _ = metrics. roc_curve (y_test, y_pred_proba)
#create ROC curve
plt.plot (fpr,tpr)
plt.ylabel('True Positive Rate')
plt.xlabel('False Positive Rate')
plt.show()
Чем больше кривая охватывает верхний левый угол графика, тем лучше модель классифицирует данные по категориям.
Как видно из графика выше, эта модель логистической регрессии довольно плохо справляется с классификацией данных по категориям.
Чтобы дать количественную оценку, мы можем рассчитать AUC — площадь под кривой, которая говорит нам, какая часть графика расположена под кривой.
Чем ближе AUC к 1, тем лучше модель. Модель со значением AUC, равным 0,5, ничем не лучше модели со случайными классификациями.
Шаг 4: Рассчитайте AUC
Мы можем использовать следующий код для расчета AUC модели и отображения его в правом нижнем углу графика ROC:
#define metrics
y_pred_proba = log_regression. predict_proba (X_test)[::,1]
fpr, tpr, _ = metrics. roc_curve (y_test, y_pred_proba)
auc = metrics. roc_auc_score (y_test, y_pred_proba)
#create ROC curve
plt.plot (fpr,tpr,label=" AUC= "+str(auc))
plt.ylabel('True Positive Rate')
plt.xlabel('False Positive Rate')
plt.legend(loc=4)
plt.show()
AUC для этой модели логистической регрессии оказывается равным 0,5602.Поскольку это близко к 0,5, это подтверждает, что модель плохо справляется с классификацией данных.
Связанный: Как построить несколько кривых ROC в Python