Как использовать Pandas Get Dummies — pd.get_dummies

Редакция Кодкампа -

Часто в статистике наборы данных, с которыми мы работаем, включают категориальные переменные .

Это переменные, которые принимают имена или метки. Примеры включают:

  • Семейное положение («замужем», «холост», «разведен»).
  • Статус курения («курящий», «некурящий»)
  • Цвет глаз («голубой», «зеленый», «ореховый»)
  • Уровень образования (например, «средняя школа», «бакалавр», «магистр»)

При подборе алгоритмов машинного обучения (таких как линейная регрессия , логистическая регрессия , случайные леса и т. д.) мы часто преобразовываем категориальные переменные в фиктивные переменные , которые представляют собой числовые переменные, используемые для представления категориальных данных.

Например, предположим, что у нас есть набор данных, содержащий категориальную переменную Gender.Чтобы использовать эту переменную в качестве предиктора в регрессионной модели, нам сначала нужно преобразовать ее в фиктивную переменную.

Чтобы создать эту фиктивную переменную, мы можем выбрать одно из значений («Мужской») для представления 0, а другое значение («Женский») для представления 1:

Как создать фиктивные переменные в Pandas

Чтобы создать фиктивные переменные для переменной в кадре данных pandas, мы можем использовать функцию pandas.get_dummies() , которая использует следующий базовый синтаксис:

pandas.get_dummies (данные, префикс = нет, столбцы = нет, drop_first = ложь)

куда:

  • data : имя Pandas DataFrame
  • prefix : строка, которая добавляется в начало нового столбца фиктивной переменной.
  • columns : Имя столбца (столбцов) для преобразования в фиктивную переменную.
  • drop_first : Отбрасывать или нет первый столбец фиктивной переменной.

В следующих примерах показано, как использовать эту функцию на практике.

Пример 1. Создание одной фиктивной переменной

Предположим, у нас есть следующие Pandas DataFrame:

import pandas as pd

#create DataFrame
df = pd.DataFrame({'income': [45, 48, 54, 57, 65, 69, 78],
 'age': [23, 25, 24, 29, 38, 36, 40],
 'gender': ['M', 'F', 'M', 'F', 'F', 'F', 'M']})

#view DataFrame
df

 income age gender
0 45 23 M
1 48 25 F
2 54 24 M
3 57 29 F
4 65 38 F
5 69 36 F
6 78 40 M

Мы можем использовать функцию pd.get_dummies() , чтобы превратить пол в фиктивную переменную:

#convert gender to dummy variable
pd.get_dummies (df, columns=['gender'], drop_first= True )

 income age gender_M
0 45 23 1
1 48 25 0
2 54 24 1
3 57 29 0
4 65 38 0
5 69 36 0
6 78 40 1

Половая колонка теперь является фиктивной переменной, где:

  • Значение 0 представляет «женщину».
  • Значение 1 представляет «Мужской».

Пример 2. Создание нескольких фиктивных переменных

Предположим, у нас есть следующие Pandas DataFrame:

import pandas as pd

#create DataFrame
df = pd.DataFrame({'income': [45, 48, 54, 57, 65, 69, 78],
 'age': [23, 25, 24, 29, 38, 36, 40],
 'gender': ['M', 'F', 'M', 'F', 'F', 'F', 'M'],
 'college': ['Y', 'N', 'N', 'N', 'Y', 'Y', 'Y']})

#view DataFrame
df

 income age gender college
0 45 23 M Y
1 48 25 F N
2 54 24 M N
3 57 29 F N
4 65 38 F Y
5 69 36 F Y
6 78 40 M Y

Мы можем использовать функцию pd.get_dummies() для преобразования пола и колледжа в фиктивные переменные:

#convert gender to dummy variable
pd.get_dummies (df, columns=['gender', 'college'], drop_first= True )


 income age gender_M college_Y
0 45 23 1 1
1 48 25 0 0
2 54 24 1 0
3 57 29 0 0
4 65 38 0 1
5 69 36 0 1
6 78 40 1 1

Половая колонка теперь является фиктивной переменной, где:

  • Значение 0 представляет «женщину».
  • Значение 1 представляет «Мужской».

А столбец колледжа теперь является фиктивной переменной, где:

  • Значение 0 представляет колледж «Нет».
  • Значение 1 представляет колледж «Да».

Дополнительные ресурсы

Как использовать фиктивные переменные в регрессионном анализе
Что такое ловушка с фиктивной переменной?