Репликация: новые данные и устойчивость вывода
Различать повтор расчёта и сбор новых данных · Оценивать причины расхождения результатов
В этом занятии
- Различать повтор расчёта и сбор новых данных
- Оценивать причины расхождения результатов
- Избегать бинарного приговора дисциплине
Пригодится: Рекомендуем сначала пройти «Открытая наука: план, данные и честное различение анализов».
Разберёмся перед практикой+
Репликация: новые данные и устойчивость вывода
Повторный анализ тех же данных проверяет, воспроизводятся ли вычисления и выводы из доступных файлов. Репликация с новыми данными проверяет, получается ли сходный результат при повторении исследования. Термины используются по-разному в разных областях, поэтому полезно явно описывать саму процедуру проверки.
Близкая репликация старается сохранить существенные условия исходного метода. Концептуальная проверка меняет процедуру, исследуя более общее предсказание. Чем больше изменено деталей, тем труднее при расхождении понять, что именно отвечает за разницу.
Результаты могут расходиться из-за случайной неопределённости, различий контекста, ошибок измерения, анализа или слабого первоначального свидетельства. Единственная неудачная репликация не доказывает, что любое подобное явление невозможно. Но и удобная ссылка на контекст без проверяемой гипотезы не спасает исходный вывод автоматически.
Крупный проект Open Science Collaboration, опубликованный в 2015 году, повторял исследования из определённой выборки психологических публикаций и выявил заметные расхождения с исходными результатами. Его итоги стали основанием обсуждать устойчивость свидетельств и исследовательские практики; их нельзя превращать в точный процент истинности всей психологии.
Сравнивают не только ярлык «значимо или нет», но и размеры эффектов, неопределённость, измерение и качество выполнения протокола. Два близких эффекта могут оказаться по разные стороны условного порога. И наоборот, одинаковый ярлык значимости не гарантирует содержательно одинакового результата.
Ошибка — рассматривать репликацию как состязание репутаций. Её научная цель — уточнить, какое утверждение выдерживает новые данные и при каких условиях. Вымышленный проект следует оценивать по протоколу и результатам, не приписывая авторам мотивы без свидетельств.
В двух вымышленных работах оценка эффекта равна 2 и 1,8 балла, но одна помечена «значимо», другая — «незначимо». Достаточно ли этого для вывода о противоречии?
- Оценки эффекта близки: разница между ними 0,2 балла.
- Нужно узнать неопределённость каждой оценки и дизайн исследований.
- Разные ярлыки порога сами по себе не показывают статистически подтверждённого различия эффектов.
- Вывод о согласованности строим по всей картине, а не только двум словам в таблице.
Попробуй самостоятельно
Запиши рассуждения в черновик или сделай построение на бумаге. Эти задания для самостоятельной работы: автоматической проверки и XP за них пока нет.
- Спланируйте близкую репликацию вымышленного опыта с заголовками: какие детали сохранить, какие отклонения записать и какой исход сравнить.
- Придумайте проверяемую гипотезу о контексте, способную объяснить различие двух вымышленных результатов. Укажите новый опыт, который мог бы её ослабить.
Источники и дальнейшее чтение
Материал изложен своими словами. Здесь можно проверить научные основания и подробнее изучить тему; часть источников — на английском.
Читай и разбирай пример в своём темпе. К практике можно перейти, когда будешь готов.