Термин содержательная валидность относится к тому, насколько хорошо опрос или тест измеряет конструкцию, которую они намереваются измерить.
Например, предположим, что профессор хочет проверить общие знания своих студентов по предмету элементарной статистики. Его тест будет иметь содержательную валидность, если:
- Тест охватывает все темы элементарной статистики, которые он преподавал в классе.
- Тест не охватывает несвязанные темы, такие как история, экономика, биология и т. д.
Тесту не хватает содержательной валидности, если он не охватывает все аспекты конструкции, которую он намеревается измерить, или если он охватывает темы, никак не связанные с конструкцией.
Когда используется проверка содержимого?
На практике валидность контента часто используется для оценки валидности тестов, оценивающих знание контента. Примеры включают:
Пример 1: Итоговый экзамен по статистике
Заключительный экзамен в конце семестра по курсу статистики будет иметь содержательную ценность, если он охватывает все темы, обсуждаемые в курсе, и исключает все другие не относящиеся к делу темы.
Пример 2: Лицензия пилота
Экзамен, который проверяет, обладают ли люди достаточными знаниями для получения лицензии пилота, будет иметь содержание, если он включает вопросы, которые охватывают все возможные темы, обсуждаемые в курсе пилота, и исключают все другие вопросы, которые не имеют отношения к лицензии.
Пример 3: Лицензия на недвижимость
Экзамен, который проверяет, обладают ли люди достаточными знаниями для получения лицензии на недвижимость, будет иметь содержательную ценность, если он охватывает все темы, которые необходимо понять агенту по недвижимости, и исключает все другие вопросы, которые не относятся к делу.
В каждой ситуации содержательная валидность может помочь определить, охватывает ли тест все аспекты конструкции, которую он намеревается измерить.
Как измерить достоверность контента
В статье 1975 года CH Lawshe разработал следующую технику для оценки достоверности содержания:
Шаг 1: Соберите данные от экспертов в предметной области.
Лоше предложил, чтобы каждый эксперт в предметной области (SME) в составе жюри ответил на вопрос:
«Являются ли навыки или знания, измеряемые этим пунктом, «существенными», «полезными, но не существенными» или «не необходимыми» для выполнения работы?»
Каждый SME должен предоставить этот ответ на каждый вопрос теста.
Шаг 2: Рассчитайте коэффициент достоверности контента.
Затем Лоуше предложил следующую формулу для количественной оценки коэффициента достоверности содержания каждого вопроса теста:
Коэффициент достоверности содержания = (n e – N/2) / (N/2)
куда:
- n e : количество экспертов в предметной области, указывающих «существенное».
- N: общее количество экспертов из числа представителей малого и среднего бизнеса.
Если коэффициент достоверности содержания для данного вопроса падает ниже определенного критического значения, вполне вероятно, что вопрос не измеряет интересующий конструкт должным образом.
В следующей таблице показаны критические значения, основанные на количестве участников дискуссии из числа представителей малого и среднего бизнеса:
Индекс содержательной валидности, обозначаемый как CVI, представляет собой средний коэффициент содержательной валидности всех вопросов теста. Чем ближе CVI к 1, тем выше общая содержательная валидность теста.
В следующем примере показано, как рассчитать достоверность содержимого для определенного теста.
Пример: измерение достоверности контента
Предположим, мы просим группу из 10 судей оценить 6 пунктов теста. Зеленые прямоугольники в следующей таблице показывают, какие судьи оценили каждый пункт как «важный»:
Коэффициент достоверности содержания для первого элемента будет рассчитываться как:
Коэффициент достоверности содержания = (n e – N/2) / (N/2) = (9 – 10/2) / (10/2) = 0,8
Мы могли бы рассчитать коэффициент достоверности контента для каждого элемента аналогичным образом:
Из таблицы критических значений мы можем видеть, что элемент считается имеющим содержание для комиссии из 10 судей, только если он имеет значение CVR выше 0,62.
В этом конкретном тесте только три элемента проходят этот порог.
Наконец, мы также можем рассчитать индекс валидности содержания (CVI) всего теста как среднее значение всех значений CVR:
CVI = (0,8 -0,2 + 1 + 0,8 + 0,6 + 0) / 6 = 0,5
Это значение CVI довольно низкое, что указывает на то, что тест, вероятно, не измеряет интересующую конструкцию так хорошо, как мог бы.
Было бы рекомендовано удалить или изменить элементы с низкими значениями CVR, чтобы улучшить общую достоверность содержания теста.
Валидность содержания и валидность лица
Валидность содержания отличается от валидности на первый взгляд , когда опрос или тест кажутся действительными по номинальной стоимости как для людей, которые его принимают, так и для людей, которые его проводят.
Лицевая валидность — это менее технический способ оценки валидности теста, и он часто используется просто как быстрый способ определить, следует ли каким-либо образом модифицировать тест перед его использованием.