Личностный показатель: от наблюдений к баллу
Различать надёжность и валидность · Понимать вклад метода и контекста
В этом занятии
- Различать надёжность и валидность
- Понимать вклад метода и контекста
- Проверять смысл объединения показателей
Пригодится: Рекомендуем сначала изучить «Множественная принадлежность и согласование ролей».
Разберёмся перед практикой+
Личностный показатель: от наблюдений к баллу
Психологический балл создаётся процедурой: выбираются проявления, задаются правила наблюдения или ответа, затем результаты объединяются. Число не существует отдельно от этих решений. Для личности особенно важны временной интервал и контекст: самоописание «обычно», наблюдение на одной встрече и оценка партнёра за год имеют разный охват. Перед сравнением нужно установить, что именно означает каждый показатель и какие события в него входят.
Надёжность относится к точности и согласованности измерения в определённом смысле. Повторяемость во времени, согласие оценщиков и согласованность пунктов отвечают на разные вопросы. Высокая внутренняя согласованность может возникнуть из-за очень похожих формулировок и не доказывает полного охвата конструкта. Повторный балл зависит также от реального изменения состояния, поэтому интервал и условия входят в интерпретацию.
Валидность касается обоснованности интерпретации и использования результатов. Можно очень последовательно считать число сообщений, но ошибочно называть его полной оценкой социальной компетентности. Для более широкого смысла нужны сведения о содержании, процессе ответа, связях с другими показателями и последствиях применения. Один коэффициент или красивый факторный рисунок не отвечает сразу на все эти вопросы.
Метод может вносить общий вклад в оценки. Человек может соглашаться с формулировками, использовать крайние ответы или ориентироваться на желаемое впечатление. Наблюдатель может переносить общее впечатление на разные признаки. Это не означает, что любые самоотчёты или оценки знакомых бесполезны. Нужно проектировать процедуру, учитывать источники смещения и сопоставлять методы, не объявляя один из них абсолютно объективным.
Объединение показателей требует теоретического основания. Среднее двух чисел с разными единицами, например количества сообщений и минут подготовки, не становится чертой просто после сложения. Даже одинаковая шкала ответа не гарантирует одинакового содержания. При построении составного показателя важно обосновать веса, проверить структуру и показать, какую информацию теряет итог. Для реальных инструментов действуют правила применения и права авторов.
В учебном пакете нет пунктов личностного опросника, обратных ключей к защищённому тесту или норм для читателя. Синтетические примеры служат только логике измерения. Мы учимся спрашивать, повторяется ли показатель, что он отражает и для какого решения пригоден. Статистическая точность и научный смысл необходимы совместно: аккуратно вычисленный балл с неверной интерпретацией остаётся неверно использованным.
В синтетической задаче два наблюдателя независимо отметили начало обсуждения в десяти коротких эпизодах. В восьми эпизодах их записи совпали. Автор называет долю совпадений доказательством полной валидности измерения инициативности. Разделим согласие и смысл.
- Простая доля совпадений равна 8/10 = 4/5; это описательная мера согласия данных записей.
- Она не учитывает автоматически совпадение по случайности и распределение категорий; для иных вопросов могут понадобиться другие показатели.
- Даже полное согласие не доказывает, что начало обсуждения охватывает все формы инициативы.
- Проверяем правило события, доступность слова и другие формы вклада, прежде чем расширять интерпретацию.
Открываем учебную модель…
Попробуй самостоятельно
Запиши рассуждения в черновик или сделай построение на бумаге. Эти задания для самостоятельной работы: автоматической проверки и XP за них пока нет.
- Создайте синтетическую таблицу двух оценщиков по шести нейтральным эпизодам. Посчитайте совпадения и укажите, что эта доля сообщает и чего не сообщает о содержании измерения. Предложите один случай, где оба оценщика одинаково применяют слишком узкое правило.
- Разберите составной показатель из числа сообщений и минут подготовки. Объясните проблему единиц и содержания, предложите отдельные понятные показатели и исследовательский вопрос, для которого их действительно нужно рассматривать вместе.
Источники и дальнейшее чтение
Материал изложен своими словами. Здесь можно проверить научные основания и подробнее изучить тему; часть источников — на английском.
- AERA, APA & NCME. Standards for Educational and Psychological Testing (2014) ↗
- Soto & John (2017). The Next Big Five Inventory (BFI-2): Developing and Assessing a Hierarchical Model with 15 Facets ↗
- Shchebetenko et al. (2019). Measurement Invariance and Sex and Age Differences of the Big Five Inventory-2: Evidence From the Russian Version ↗
Читай и разбирай пример в своём темпе. К практике можно перейти, когда будешь готов.