Кого не видно в данных
Различать целевую группу и доступную выборку · Обнаруживать самоотбор и пропущенные случаи
В этом занятии
- Различать целевую группу и доступную выборку
- Обнаруживать самоотбор и пропущенные случаи
- Проверять знаменатель показателя успеха
Пригодится: Рекомендуем сначала пройти «От сообщения к проверяемому источнику».
Разберёмся перед практикой+
Кого не видно в данных
Выборка — наблюдаемые случаи, а целевая группа — те, о ком хотят сделать вывод. Эти множества не обязаны совпадать. Опрос вечерних посетителей библиотеки может хорошо описывать ответивших вечером, но пропустить тех, кто не может прийти в это время. До подсчёта среднего спроси: кто мог попасть в данные, кто не попал и связан ли способ отбора с изучаемым свойством?
Большая выборка уменьшает некоторые случайные колебания, но не лечит автоматически систематический отбор. Тысячи добровольных ответов в фан-клубе не становятся случайной выборкой всех жителей города. Отказ от ответа тоже может быть содержателен: слишком занятые или недовольные люди иногда отвечают иначе. Надёжный отчёт описывает приглашённых, ответивших и причины исключения, если они известны.
Ошибка выжившего возникает, когда внимание получает только сохранившаяся или успешная часть случаев. Если изучать привычки лишь завершивших сложный проект, можно не заметить, что те же привычки были у многих выбывших. Для оценки шанса завершения нужен исходный набор участников, а для оценки полезности привычки — подходящее сравнение. Красивые истории успеха могут подсказать гипотезы, но не дают сами по себе такой оценки.
Следи за знаменателем. «90% довольны» среди ответивших не означает 90% среди всех покупателей. Иногда данных достаточно лишь для границ: сколько минимум и максимум могло быть довольных, если ответы пропущенных неизвестны. Такое представление помогает не выдумывать сведения и показывает, насколько вывод зависит от отсутствующей части наблюдений.
На марафон записались 100 человек, завершили 40. Опрос прошли 20 завершивших, из них 18 довольны. Организатор хочет написать: «90% всех участников довольны». О мнении остальных сведений нет.
- Определяем знаменатель исходных 90%: 18 из 20 ответивших.
- Замечаем два отбора: сначала завершение, затем участие в опросе.
- Для всех 100 известно лишь о 18 довольных; мнения остальных 82 неизвестны.
- Честно описываем результат опроса и его ограничения, вместо переноса процента на всех записавшихся.
Попробуй самостоятельно
Запиши рассуждения в черновик или сделай построение на бумаге. Эти задания для самостоятельной работы: автоматической проверки и XP за них пока нет.
- Объясни, почему увеличение числа добровольных отзывов не гарантирует исчезновения самоотбора.
- Посмотри на показатель успеха в вымышленном клубе, приложении или личном проекте. Укажи исходный набор случаев и тех, кого могли незаметно исключить из отчёта.
Читай и разбирай пример в своём темпе. К практике можно перейти, когда будешь готов.