Когда общий итог меняет знак: состав группы и парадокс Симпсона
Читать условные и общие доли отдельно · Понимать роль разных весов подгрупп
В этом занятии
- Читать условные и общие доли отдельно
- Понимать роль разных весов подгрупп
- Не объявлять условное сравнение автоматически причинным
Пригодится: Рекомендуем сначала изучить «Справедливость: измерение, правило и последствия».
Разберёмся перед практикой+
Когда общий итог меняет знак: состав группы и парадокс Симпсона
Общая доля успешных попыток зависит и от результатов внутри подгрупп, и от того, сколько наблюдений приходится на каждую подгруппу. Если два метода использовались при разном составе участников, простое объединение может изменить направление сравнения. Это семейство ситуаций известно как парадокс Симпсона. Парадокс не означает ошибку арифметики: разные итоговые числа отвечают на разные вопросы с разными весами.
Представим новичков и опытных участников. Один метод чаще применяли к новичкам, другой — к опытным. Даже если первый лучше внутри обеих категорий опыта, его общий результат может оказаться ниже из-за более трудного состава. Чтобы увидеть механизм, нужно раскрыть таблицу числителей и знаменателей, а не только проценты. Среднее двух процентов без учёта размеров подгрупп обычно не равно общей доле исходных наблюдений.
Взвешивание делает роль состава явной. Общая доля представляет сумму долей подгрупп с весами, равными их представленности в данных. Стандартизация на общий состав задаёт одинаковые веса и отвечает на вопрос о сравнении при выбранной структуре. Но выбор весов должен соответствовать цели: всем реальным пользователям, определённой целевой группе или условному равному составу. Универсально правильных весов без вопроса не существует.
Условное сравнение не всегда лучше общего. Если переменная является посредником воздействия или следствием отбора, разделение по ней может изменить причинный вопрос или создать смещение. Поэтому статистическая таблица должна сопровождаться причинной моделью. Опыт до назначения метода может быть смешивающим фактором; успешность после метода не играет ту же роль. Механическое правило «всегда разбивать на группы» столь же опасно, как правило всегда объединять.
Для причинного вопроса важно, почему участники получили метод. При случайном назначении состав в среднем по возможным распределениям не связан с исходными особенностями, хотя в конечной выборке дисбаланс возможен. При самостоятельном выборе или назначении по трудности связи сложнее. Разбиение по известному опыту может уменьшить одно смешение, но не гарантирует устранения других, например мотивации, устройства или различий материала.
Агрегирование касается не только групп людей, но и времени. Общая связь по дням может отражать смену состава заданий, а не изменение процесса у одного участника. Если в сложные дни выполняли другие задачи, сравнение общего среднего смешивает трудность и состояние. Здесь снова помогают уровни анализа и ясные единицы наблюдения: кто выполнял что, когда и при каких условиях.
Хорошая визуализация показывает сначала полную таблицу, затем выбранное обобщение. Для каждой ячейки нужны число успехов и число попыток; рядом можно показать условные доли и общий итог. Это позволяет читателю восстановить расчёт и увидеть, какие веса создали результат. При малых подгруппах необходимо учитывать неопределённость: красивое изменение знака в нескольких наблюдениях не становится устойчивым законом автоматически.
Практический урок состоит в проверке состава перед выводом о превосходстве метода или группы. Если итог неожиданен, полезно спросить, какие разные ситуации объединены и почему их доли различаются. Затем выбрать сравнение, соответствующее предметному и причинному вопросу, и честно сообщить допущения. Так противоречивые на вид проценты превращаются в объяснимую структуру данных, а не в повод выбирать только удобную цифру.
В вымышленной таблице метод А: новички 60 успехов из 100, опытные 9 из 10. Метод Б: новички 5 из 10, опытные 80 из 100. Внутри опыта А лучше: 60% против 50% и 90% против 80%. Но общий итог А — 69/110, Б — 85/110: Б выше из-за большей доли опытных. При условных равных весах опыта А получает 75%, Б — 65%. Это разные обобщения, а не арифметическое противоречие.
- Вычисляем четыре условные доли и видим одинаковое преимущество А внутри категорий.
- Складываем числители и знаменатели отдельно для каждого метода и обнаруживаем изменение общего порядка.
- Объясняем веса состава и отдельно обсуждаем, какой вопрос и причинные допущения поддерживают выбранное сравнение.
Открываем учебную модель…
Попробуй самостоятельно
Запиши рассуждения в черновик или сделай построение на бумаге. Эти задания для самостоятельной работы: автоматической проверки и XP за них пока нет.
- Перепиши таблицу примера в виде четырёх строк «метод — опыт — успехи — попытки». Объясни другу, почему усреднение двух процентов без весов отвечает на иной вопрос.
- Придумай ситуацию, где опыт измерен до метода, и ситуацию, где группируют по результату после метода. Нарисуй словесные причинные пути и объясни, почему одинаковая стратификация может иметь разный смысл.
Источники и дальнейшее чтение
Материал изложен своими словами. Здесь можно проверить научные основания и подробнее изучить тему; часть источников — на английском.
Читай и разбирай пример в своём темпе. К практике можно перейти, когда будешь готов.