Нормы, процентили и стандартные баллы
Читать результат относительно указанной группы · Различать процентиль и долю верных ответов
В этом занятии
- Читать результат относительно указанной группы
- Различать процентиль и долю верных ответов
- Понимать влияние нормирования и крайних результатов
Пригодится: Рекомендуем сначала изучить «Валидность как обоснование конкретного вывода».
Разберёмся перед практикой+
Нормы, процентили и стандартные баллы
Сырой балл сообщает результат по заданному правилу: например, число верных решений или длительность работы. Чтобы понять положение относительно других, используют нормативную группу. Норма здесь означает описание распределения в выбранной совокупности и процедуре, а не моральный стандарт или обязательную цель. Результат относительно опытных специалистов и относительно новичков может иметь разное положение даже при одинаковом исходном числе.
Подходящая нормативная выборка должна соответствовать предполагаемой интерпретации. Важны способ отбора, время сбора, условия предъявления и релевантные характеристики подготовки. Старые нормы могут плохо описывать новую технологическую среду; нормы одного языка не автоматически подходят другому. Нормирование — исследовательская работа, а не простое превращение произвольных данных в шкалу от нуля до ста.
Процентиль описывает относительное положение в распределении, но конкретное правило при совпадающих значениях нужно уточнять. В одном варианте считают долю результатов строго ниже, в другом используют поправку на совпадения. Поэтому одинаковое название без алгоритма может скрывать разные расчёты. В учебных задачах правило указано явно. Высокий процентиль не означает, что человек правильно выполнил соответствующий процент заданий.
Стандартный балл z выражает отклонение от среднего в единицах стандартного отклонения: z = (X − M) / SD. Если результат ниже среднего, z отрицателен. Такое преобразование меняет единицы и точку отсчёта, но не добавляет содержания или точности. Оно не делает разные навыки одним свойством и не превращает распределение в нормальное: форма исходных данных при линейном преобразовании сохраняется.
Направление шкалы также существенно. Для точности больший результат обычно означает больше верных ответов, а для времени — большую длительность. Отрицательный z времени может обозначать более быстрое выполнение относительно группы. Нельзя автоматически считать любой отрицательный стандартизированный балл плохим. Сначала читают определение показателя, затем сравнение и лишь после этого обсуждают значение для конкретной задачи.
Критериальная оценка отвечает на другой вопрос: выполнены ли заранее определённые требования деятельности. Например, схема может считаться корректной, если все обязательные связи заданы верно. В сильной группе большинство способно выполнить критерий, хотя не все окажутся выше среднего; в слабой группе лучший относительный результат может всё ещё не удовлетворять требованию. Нормативное сравнение и проверка критерия полезны для разных решений.
При отборе крайних результатов важно учитывать регрессию к среднему. Если наблюдаемый балл состоит из устойчивого компонента и случайного отклонения, среди самых высоких записей окажутся случаи с положительной случайной добавкой. При повторении такая добавка не обязана сохраняться, и средний результат отобранной группы может стать менее крайним без специального воздействия. Это статистическое объяснение нельзя автоматически применять к любому индивидуальному снижению, но его следует рассматривать.
Отчёт о стандартизированном результате должен сохранять исходный смысл. Полезно указать группу сравнения, период, процедуру, правило преобразования и неопределённость. Для учебного сервиса достаточно показывать освоение конкретных материалов и прозрачный прогресс; создавать собственные «нормы интеллекта» по пользователям приложения без соответствующей разработки нельзя. Красивый ранг не заменяет обоснованную цель измерения и не определяет ценность участника.
В вымышленном наборе среднее время равно 100 секундам, стандартное отклонение — 20. Время 70 секунд даёт z = (70 − 100)/20 = −1,5. Это ниже среднего по времени, то есть быстрее в данной процедуре. Одновременно участник мог допустить больше ошибок, поэтому объявить его выполнение лучше во всех отношениях нельзя. Для другой группы сравнения тот же исходный результат мог бы получить другое стандартное значение.
- Определяем содержание шкалы: измерено время, поэтому знак нельзя читать как общую оценку успешности.
- Вычисляем отклонение от среднего выбранной группы и делим на её стандартное отклонение.
- Сохраняем отдельный показатель точности и не распространяем относительную скорость на все способности.
Открываем учебную модель…
Попробуй самостоятельно
Запиши рассуждения в черновик или сделай построение на бумаге. Эти задания для самостоятельной работы: автоматической проверки и XP за них пока нет.
- Придумай пример, где лучший результат в группе не достигает критерия выполнения задачи, и пример, где все достигают критерия, но не все выше среднего. Объясни оба без психологических ярлыков.
- Составь образец честной подписи к вымышленной диаграмме стандартных баллов: включи группу, единицы, направление шкалы и ограничение сравнения.
Источники и дальнейшее чтение
Материал изложен своими словами. Здесь можно проверить научные основания и подробнее изучить тему; часть источников — на английском.
Читай и разбирай пример в своём темпе. К практике можно перейти, когда будешь готов.