Совокупность свидетельств: обзор и метаанализ
Отличать систематический поиск от подборки примеров · Не считать публикации независимыми автоматически
В этом занятии
- Отличать систематический поиск от подборки примеров
- Не считать публикации независимыми автоматически
- Учитывать качество, неоднородность и пропущенные результаты
Пригодится: Рекомендуем сначала пройти «Репликация: новые данные и устойчивость вывода».
Разберёмся перед практикой+
Совокупность свидетельств: обзор и метаанализ
Один результат становится понятнее на фоне других. Систематический обзор заранее задаёт вопрос, правила поиска и включения работ, затем описывает найденные свидетельства. Обычная подборка удобных примеров может выглядеть убедительно, но не показывает, какие исследования остались за пределами рассказа.
Метаанализ количественно объединяет сопоставимые оценки эффектов. Это не простое голосование «сколько работ за и сколько против»: размеры выборок, неопределённость и зависимости между результатами различаются. Метод объединения должен соответствовать данным и исследовательскому вопросу.
Пять статей могут использовать одну и ту же выборку. Если считать их пятью независимыми подтверждениями, уверенность будет завышена. Поэтому в обзоре отслеживают участников, наборы данных и перекрывающиеся исследования, а не только количество публикаций.
Работы могут расходиться из-за задач, аудиторий и качества измерения. Среднее объединённое значение не обязано описывать каждый контекст. Иногда полезнее отдельно показать группы исследований или вообще отказаться от общего числа, чем объединить несопоставимые исходы.
Публикационная избирательность возникает, когда доступность результата связана с его направлением или яркостью. Даже безупречный расчёт по опубликованным работам не восстановит автоматически невидимые данные. Поиск регистраций, неопубликованных результатов и анализ чувствительности помогают оценить проблему.
Ошибка — считать заголовок «метаанализ» окончательной гарантией. Нужно проверить критерии включения, качество первичных работ, независимость данных, неоднородность и прозрачность решений. Сильный обзор делает ограничения видимыми и показывает, какие новые данные изменили бы вывод.
Вымышленная подборка содержит 5 статей: первые 3 используют набор A, остальные — отдельные наборы B и C. Сколько независимых наборов данных представлено?
- Сопоставляем статьи с первичными наборами, а не считаем заголовки.
- Три статьи относятся к одному набору A.
- Ещё два независимых набора — B и C; всего их три.
- Даже эти три набора нужно проверить на качество и сопоставимость перед объединением эффектов.
Попробуй самостоятельно
Запиши рассуждения в черновик или сделай построение на бумаге. Эти задания для самостоятельной работы: автоматической проверки и XP за них пока нет.
- Составьте правила включения работ в вымышленный обзор понятности инструкций: аудитория, задача, сравнение, исход. Укажите пример работы, которую следует исключить по этим правилам.
- Нарисуйте карту пяти вымышленных статей и трёх наборов данных. Объясните, почему несколько текстов не равны нескольким независимым опытам.
Источники и дальнейшее чтение
Материал изложен своими словами. Здесь можно проверить научные основания и подробнее изучить тему; часть источников — на английском.
Читай и разбирай пример в своём темпе. К практике можно перейти, когда будешь готов.