Надёжность: согласованность измерений и её пределы
Различать повторную и межэкспертную согласованность · Отличать случайную ошибку от сдвига
В этом занятии
- Различать повторную и межэкспертную согласованность
- Отличать случайную ошибку от сдвига
- Не принимать надёжность за валидность
Пригодится: Рекомендуем сначала пройти «Среднее, медиана, разброс и размер различия».
Разберёмся перед практикой+
Надёжность: согласованность измерений и её пределы
Надёжность относится к согласованности измерений при условиях, где ожидается сопоставимый результат. Можно проверять повторение процедуры, согласие разных кодировщиков или связь заданий одной шкалы. Эти проверки изучают разные источники изменчивости и не заменяют одна другую.
Повторное измерение требует понимать, должно ли само свойство оставаться стабильным. Если задача освоена между попытками, изменение результата может отражать обучение. Поэтому расхождение двух измерений не всегда означает неисправность инструмента; важны интервал, практика и условия.
Межэкспертная согласованность проверяет, одинаково ли наблюдатели кодируют одни события. Простая доля совпадений полезна как учебный показатель, но не учитывает совпадений, ожидаемых случайно. В профессиональном анализе выбирают статистику под тип данных и цель; универсального порога качества для всех задач нет.
В вымышленном журнале два кодировщика согласились по 18 из 20 событий. Доля совпадений 0,9, но из неё не видно, насколько часто встречается редкая категория. Если почти все события относятся к одной категории, высокая общая доля может скрывать плохое распознавание исключений.
Постоянный сдвиг не обязательно снижает повторяемость. Таймер, каждый раз добавляющий две секунды, даёт стабильные, но смещённые значения. Это наглядно показывает: согласованность необходима для многих выводов, однако сама по себе не устанавливает точность или обоснованность интерпретации.
Ошибка — использовать один красивый коэффициент как паспорт качества на все случаи. Надёжность относится к данным и условиям применения, а не к вечному свойству названия теста. Для новой аудитории, языка или процедуры нужно проверять, сохраняются ли нужные свойства измерения.
Два вымышленных кодировщика совпали в оценке 18 из 20 событий. Все разногласия относятся к редкому виду клика. Что сообщить?
- Доля совпадений равна 18/20 = 0,9, то есть 90 процентов.
- Отмечаем два расхождения и их связь с редкой категорией.
- Уточняем правило этой категории и планируем независимую повторную проверку.
- Не называем долю совпадений полноценным доказательством валидности или универсальным коэффициентом надёжности.
Открываем учебную модель…
Попробуй самостоятельно
Запиши рассуждения в черновик или сделай построение на бумаге. Эти задания для самостоятельной работы: автоматической проверки и XP за них пока нет.
- Создайте две вымышленные таблицы кодирования с одинаковыми 90 процентами совпадений, но разным распределением расхождений. Что потеряет общий процент?
- Опишите таймер со стабильным сдвигом и таймер с непредсказуемым разбросом. Предложите отдельные проверки для двух проблем.
Источники и дальнейшее чтение
Материал изложен своими словами. Здесь можно проверить научные основания и подробнее изучить тему; часть источников — на английском.
Читай и разбирай пример в своём темпе. К практике можно перейти, когда будешь готов.