В исследованиях эффект потолка возникает, когда существует некоторый верхний предел опроса или анкеты, и большой процент респондентов набирает около этого верхнего предела.
Противоположность этому известна как эффект пола .
Эффект потолка может вызвать множество проблем, в том числе:
- Это затрудняет точное измерение центральной тенденции .
- Это затрудняет точное измерение дисперсии .
- Это затрудняет ранжирование людей по баллам.
- Это затрудняет сравнение средств между двумя группами.
В этом учебном пособии представлены несколько примеров потолочных эффектов, подробная информация о том, почему они проблематичны, и способы предотвращения их появления.
Примеры потолочного эффекта
Следующие примеры иллюстрируют сценарии, в которых в исследованиях могут возникать эффекты потолка.
Пример 1: Анкета о доходах.
Предположим, исследователи хотят понять распределение доходов домохозяйств в конкретном районе, поэтому они создают вопросник для каждого домохозяйства. Поскольку они хотят предотвратить систематическую ошибку , связанную с отсутствием ответов, они решают спросить домохозяйства, «к какой группе доходов они относятся», и получают самую высокую группу в размере 120 000 долларов или более .
В этом случае, даже если домохозяйства зарабатывают намного больше 120 тысяч долларов в год (например, предположим, что некоторые зарабатывают 150 тысяч долларов, 180 тысяч долларов, 250 тысяч долларов или больше), они просто будут сгруппированы в группу со 120 тысячами долларов или больше.Если есть много домохозяйств, которые зарабатывают гораздо больше, чем 120 тысяч долларов, исследователи не будут иметь ни малейшего понятия, и они, вероятно, недооценят истинный средний доход домохозяйства для района.
Пример 2: Исследование потребления алкоголя
Предположим, исследователи хотят понять привычки употребления алкоголя студентами в конкретном кампусе. Они решают разослать каждому студенту по электронной почте краткий опрос, в котором спрашивают, сколько напитков они выпивают в неделю. Чтобы предотвратить систематическую ошибку , связанную с отсутствием ответа, они делают высшую категорию из 10 и более напитков .
В этом случае многие студенты могут на самом деле потреблять гораздо больше, чем 10 напитков в неделю, но самая высокая категория, которую они могут выбрать, — это 10 напитков или более.Это создает искусственный потолок, и вполне вероятно, что в эту категорию попадет высокий процент респондентов.
Пример 3: простой экзамен
Предположим, учитель проводит экзамен IQ, который оценивается по шкале от 1 до 50. Сам того не осознавая, он делает экзамен слишком простым, и большой процент учеников получает 50 или почти идеальный балл.
Из-за этого ей будет сложно ранжировать баллы студентов в любом порядке, и она не сможет определить, какие студенты могли бы показать еще более высокие результаты на более сложном экзамене.
Проблемы, вызванные потолочными эффектами
Потолочные эффекты вызывают множество проблем, в том числе:
1. Это затрудняет точное измерение центральной тенденции.
Если большой процент респондентов набирает на экзамене, в анкете или опросе максимально возможное значение или приближается к нему, будет трудно получить точную меру того, каким должен быть «средний» балл.
2. Это затрудняет точное измерение дисперсии.
Точно так же, если многие респонденты набрали на экзамене или в опросе почти максимально возможное значение, это создаст впечатление, что дисперсия меньше, чем есть на самом деле, потому что респонденты не могут получить аномально высокие баллы.
3. Это затрудняет ранжирование людей по баллам.
Если многие люди получают высший балл на экзамене, становится невозможным ранжировать людей каким-либо образом, поскольку многие из них получили одинаковые баллы.
4. Это затрудняет различие между двумя группами.
Предположим, исследователь хочет знать, приводят ли два разных метода обучения к разным средним баллам на экзаменах. Если экзамен слишком легкий, то большинство студентов в каждой группе наберут максимально возможное значение, что сделает невозможным сравнение средних экзаменационных баллов между каждой группой, чтобы определить, имеет ли какое-либо значение техника обучения.
Как предотвратить эффект потолка
Есть два распространенных способа предотвратить эффект потолка:
1. В опросах и анкетах обеспечивайте анонимность и не устанавливайте искусственных ограничений на ответы.
Например, в вопроснике о доходах домохозяйств исследователи должны заверить респондентов, что их ответы будут полностью анонимными , и позволить респондентам указать свой фактический доход, а не выбирать из скобок.
Это повысит вероятность того, что респонденты укажут свой истинный доход, поскольку их ответ будет анонимным, и позволит исследователям понять фактическое распределение доходов, не скрывая из ответов чрезвычайно высокие доходы.
2. Увеличьте сложность экзаменов или тестов.
Для экзаменов и тестов важно, чтобы исследователи увеличивали сложность, чтобы меньший процент людей мог набрать высший балл или приблизиться к нему.
Это позволит исследователям получить точное представление о среднем значении и разбросе данных. Это также позволит исследователям ранжировать баллы отдельных лиц, поскольку меньше людей, вероятно, получат одинаковые баллы.