Как выполнить преобразование Бокса-Кокса в Python

Редакция Кодкампа -

Преобразование Бокса-Кокса — это широко используемый метод преобразования ненормально распределенного набора данных в более нормально распределенный .

Основная идея этого метода состоит в том, чтобы найти некоторое значение λ, чтобы преобразованные данные были как можно ближе к нормальному распределению, используя следующую формулу:

  • y(λ) = (y λ – 1) / λ, если y ≠ 0
  • y(λ) = log(y), если y = 0

Мы можем выполнить преобразование box-cox в Python, используя функцию scipy.stats.boxcox() .

В следующем примере показано, как использовать эту функцию на практике.

Пример: преобразование Бокса-Кокса в Python

Предположим, мы генерируем случайный набор из 1000 значений, полученных из экспоненциального распределения :

#load necessary packages
import numpy as np 
from scipy. stats import boxcox 
import seaborn as sns 

#make this example reproducible
np.random.seed (0)

#generate dataset
data = np.random.exponential (size= 1000 )

#plot the distribution of data values
sns.distplot (data, hist= False , kde= True )

Мы видим, что распределение не является нормальным.

Мы можем использовать функцию boxcox() , чтобы найти оптимальное значение лямбда, которое дает более нормальное распределение:

#perform Box-Cox transformation on original data
transformed_data, best_lambda = boxcox(data) 

#plot the distribution of the transformed data values
sns.distplot (transformed_data, hist= False , kde= True )

Мы видим, что преобразованные данные следуют гораздо более нормальному распределению.

Мы также можем найти точное значение лямбда, используемое для выполнения преобразования Бокса-Кокса:

#display optimal lambda value
print(best_lambda)

0.2420131978174143

Было обнаружено, что оптимальная лямбда составляет примерно 0,242 .

Таким образом, каждое значение данных было преобразовано с использованием следующего уравнения:

Новый = (старый 0,242 – 1) / 0,242

Мы можем подтвердить это, посмотрев значения исходных данных по сравнению с преобразованными данными:

#view first five values of original dataset
data[0:5]

array([0.79587451, 1.25593076, 0.92322315, 0.78720115, 0.55104849])

#view first five values of transformed dataset
transformed_data[0:5]

array([-0.22212062, 0.23427768, -0.07911706, -0.23247555, -0.55495228])

Первое значение в исходном наборе данных было 0,79587.Таким образом, мы применили следующую формулу для преобразования этого значения:

Новый = (0,79587 0,242 – 1) / 0,242 = -0,222

Мы можем подтвердить, что первое значение в преобразованном наборе данных действительно равно -0,222 .

Дополнительные ресурсы

Как создать и интерпретировать график QQ в Python
Как выполнить тест Шапиро-Уилка на нормальность в Python