Систематическая ошибка , связанная с отсутствием ответов, — это систематическая ошибка, возникающая, когда люди, принявшие участие в опросе, значительно отличаются от людей, которые не ответили на опрос.
Систематическая ошибка, связанная с отсутствием ответов, может возникать по нескольким причинам:
- Опрос плохо разработан и приводит к отсутствию ответов. Например, слишком длинные опросы без стимулов могут привести к тому, что большой процент людей не заполнит опрос.
- Определенные люди с большей вероятностью ответят на конкретный опрос. Например, люди, которые часто занимаются скалолазанием, с большей вероятностью ответят на опрос о потенциальном новом скалодроме, чем люди, которые не занимаются скалолазанием.
- Опрос не охватил всех членов населения. Например, опрос, разосланный в новом телефонном приложении, может охватывать только молодых людей, у которых есть это приложение, что приводит к неответам со стороны пожилых людей.
- В опросе задаются неудобные вопросы о личной информации, на которые многие люди не хотят отвечать.
Систематическая ошибка, связанная с отсутствием ответов, может возникать по всем этим причинам.
Почему систематическая ошибка неответа является проблемой?
Систематическая ошибка, связанная с отсутствием ответов, представляет собой проблему по двум основным причинам:
1. Систематическая ошибка, связанная с отсутствием ответов, приводит к тому, что выборка не репрезентативна для населения в целом. Весь смысл сбора данных для выборки заключается в том, что это быстрее и дешевле, чем сбор данных для всей совокупности, и дает возможность экстраполировать результаты выборки на большую совокупность.
Однако для того, чтобы экстраполировать результаты, выборка должна быть репрезентативной для нашей популяции в целом. В идеале мы хотели бы, чтобы наша выборка была «мини» версией генеральной совокупности.
К сожалению, систематическая ошибка, связанная с отсутствием ответа, может привести к тому, что люди в нашей выборке будут значительно отличаться от людей в большей совокупности.
Например, предположим, что город рассматривает возможность строительства нового центра скалолазания. Чтобы оценить, насколько горожане будут заинтересованы в использовании такого типа объектов, городские власти рассылают короткий опрос через новое приложение для смартфонов.
Из-за метода, использованного для проведения опроса, и из-за содержания опроса (вопросы о скалолазании) в основном отвечают молодые люди, у которых есть приложение и которые интересуются скалолазанием.
Таким образом, когда приходят результаты опроса, оказывается, что подавляющее большинство горожан заинтересовано в строительстве этого нового объекта. К сожалению, результаты опроса не являются репрезентативными для большей части населения.
Наглядное изображение ниже иллюстрирует эту проблему: предположим, что зеленые кружки представляют людей, которые заинтересованы в использовании объекта, а красные кружки представляют людей, которые не заинтересованы в использовании объекта:
Обратите внимание, что выборка не является репрезентативной для большей части населения. Результаты опроса показали, что большинство людей в восторге от нового скалолазного комплекса. К сожалению, если городские власти предположили, что эта выборка репрезентативна для населения, они могут решить построить объект, а затем быстро понять, что им будет пользоваться гораздо меньше людей, чем они думали.
2. Систематическая ошибка, связанная с отсутствием ответов, может привести к большей дисперсии оценок.Если размер выборки исследования окажется меньше, чем размер выборки, который исследователи планировали использовать, дисперсия оценок исследования может быть больше, чем планировалось.
Например, из проверки гипотез мы знаем, что чем больше размер нашей выборки, тем ниже дисперсия нашей оценки среднего значения или доли населения. Однако чем меньше размер нашей выборки, тем выше дисперсия наших оценок параметров популяции и тем сложнее найти статистически значимый результат.
Примеры систематической ошибки, связанной с неответом
Следующие примеры иллюстрируют несколько случаев, в которых может иметь место систематическая ошибка, связанная с отсутствием ответов.
Пример 1
Исследователи хотят знать, как ученые-компьютерщики воспринимают новую программу. Необходимо получить как можно больше данных из опроса, поэтому исследователи разрабатывают опрос, который занимает примерно один час. Когда они распространяют опрос, они обнаруживают, что многие специалисты по информатике либо вообще не отвечают, либо начинают отвечать, но в конце концов прекращают работу, не заполнив весь опрос.
Когда исследователи получают данные обратно, они обнаруживают, что респонденты считают программное обеспечение отличным и высококачественным. Однако, как только они внедряют новое программное обеспечение для всех компьютерных ученых, они обнаруживают, что получают в основном негативные отзывы.
Выяснилось, что люди, потратившие время на прохождение всего опроса, оказались в основном компьютерщиками начального уровня, не способными оценить недостатки программы.
Из-за этого респонденты опроса не отражали большую часть населения компьютерных наук в целом, и поэтому результаты опроса были ненадежными.
Пример 2
Исследователи хотят узнать о нормах потребления алкоголя в определенном колледже. Они решают установить будку на территории кампуса, где студенты могут остановиться и заполнить анкету относительно того, сколько и как часто они употребляют алкоголь. К сожалению, анкета не является анонимной, поэтому ее заполняют только те студенты, которые пьют очень мало или вообще не пьют.
Когда результаты возвращаются, выясняется, что употребление алкоголя среди студентов низкое и нечастое. К сожалению, респонденты опроса не отражают большее количество студентов в кампусе, и поэтому результаты ненадежны.
Пример 3
Одним из классических примеров систематической ошибки, связанной с отсутствием ответов, являются президентские выборы 1936 года. Популярное в то время издание провело опрос, который предсказывал, что Альф Лэндон с большим отрывом победит Франклина Д. Рузвельта. Однако, когда состоялись выборы, Франклин Д. Рузвельт фактически победил с большим перевесом.
Получается, что из 10 миллионов разосланных анкет ответили только 2,3 миллиона человек. Те 7,7 миллиона, которые не ответили, оказались существенно разными с точки зрения политических предпочтений.
Таким образом, результаты опроса не отражали население в целом, поэтому предсказание о победе Альфа Лэндона оказалось столь неверным.
Как предотвратить систематическую ошибку, связанную с неответом
Предвзятость, связанную с отсутствием ответов, можно предотвратить (или, по крайней мере, смягчить), предприняв следующие шаги:
- Сделайте опрос относительно коротким. Чем длиннее опрос, тем меньше вероятность того, что люди будут тратить время на ответы.
- Предлагайте поощрения за прохождение опроса. Стимулы обычно увеличивают скорость отклика.
- Убедитесь, что люди знают, что ответы на опрос будут конфиденциальными или анонимными. Как правило, это заставляет людей более охотно реагировать.
- Распространяйте опрос таким образом, чтобы он охватил большой процент населения, например, используйте традиционные формы распространения, а не новое приложение, которое есть у немногих.
Хотя не всегда возможно полностью устранить последствия систематической ошибки, связанной с отсутствием ответов, можно свести их к минимуму, используя продуманный план опроса и метод распределения.
Дополнительные ресурсы
Что такое предвзятость самоотбора?
Что такое предвзятость неполного охвата?
Что такое реферальная предвзятость?