Валидность: какой вывод оправдывает показатель
Оценивать соответствие показателя интерпретации · Различать свидетельства валидности
В этом занятии
- Оценивать соответствие показателя интерпретации
- Различать свидетельства валидности
- Учитывать язык, контекст и справедливость
Пригодится: Рекомендуем сначала пройти «Надёжность: согласованность измерений и её пределы».
Разберёмся перед практикой+
Валидность: какой вывод оправдывает показатель
Валидность касается обоснованности интерпретации результатов для конкретной цели. Вопрос звучит не просто «хороший ли это тест», а «поддерживают ли данные именно такой вывод в этих условиях». Один инструмент может быть полезен для узкой учебной проверки и непригоден для широкого решения о человеке.
Содержание задания должно соответствовать заявленному понятию. Если проверка понимания карты требует редкой лексики, низкий балл может отражать незнание слов. Нужно различать основной навык и посторонние требования, которые мешают показать его.
Свидетельства можно получать из структуры задания, понимания инструкции участниками и связей с другими подходящими показателями. Ожидается не максимальная связь со всем подряд, а осмысленная картина: сходные конструкты связаны, отличающиеся не сливаются без основания.
Связь с внешним критерием полезна только при обоснованности самого критерия. Если новый тест сравнивают с тем же набором вопросов в другой обложке, независимость проверки мала. Если сравнивают с реальным выполнением целевой задачи, нужно учитывать условия и качество этого наблюдения.
Справедливость не сводится к одинаковой инструкции для всех. Язык, доступность интерфейса и предыдущий опыт могут создавать посторонние препятствия. Проверка должна выяснять, одинаков ли смысл баллов в группах, прежде чем использовать их для сравнений или решений.
Ошибка — считать надёжный и красивый опросник автоматически валидной диагностикой. Даже повторяющиеся ответы не доказывают заявленную интерпретацию. Вводный курс учит задавать вопросы к измерению и не предлагает определять личность, диагноз или профессиональную пригодность по учебным баллам.
Вымышленный тест навигации содержит сложные незнакомые слова. Группа, знающая эти слова, получает больше баллов. Автор делает вывод о лучшем пространственном мышлении. Что проверить?
- Выделяем заявленный конструкт: навигация или пространственное выполнение.
- Выделяем постороннее требование: знание редкой лексики.
- Предлагаем ясные эквивалентные инструкции и проверку их понимания.
- Сравниваем результаты с независимой задачей навигации и ограничиваем вывод до накопления свидетельств.
Открываем учебную модель…
Попробуй самостоятельно
Запиши рассуждения в черновик или сделай построение на бумаге. Эти задания для самостоятельной работы: автоматической проверки и XP за них пока нет.
- Для вымышленной шкалы «удобство меню» придумайте один подходящий и один неподходящий внешний критерий. Объясните, почему их связь со шкалой имеет разный смысл.
- Отредактируйте учебную инструкцию с двумя редкими словами так, чтобы убрать посторонний языковой барьер, сохранив проверяемое действие.
Источники и дальнейшее чтение
Материал изложен своими словами. Здесь можно проверить научные основания и подробнее изучить тему; часть источников — на английском.
Читай и разбирай пример в своём темпе. К практике можно перейти, когда будешь готов.