Открытая наука: план, данные и честное различение анализов

Открытая наука: план, данные и честное различение анализов

Прозрачность помогает читателю восстановить путь от вопроса к выводу. Полезно заранее описать основной исход, размер или правило набора выборки, исключения и анализ. Это уменьшает возможность незаметно выбирать только те решения, которые дают желательный результат.

Предрегистрация фиксирует план до соответствующей проверки данных. Она позволяет сравнить первоначальные намерения с итоговым отчётом. План может быть слабым, а выполнение — ошибочным: сама отметка регистрации не гарантирует ни валидности измерения, ни истинности вывода.

После просмотра данных иногда нужен новый анализ, например из-за обнаруженной проблемы инструмента. Такой анализ не запрещён, но его обозначают как отклонение или исследовательский поиск и объясняют причину. Читатель должен видеть, где проверялся прежний прогноз, а где возникала новая гипотеза.

Registered Reports — формат, в котором исследовательский вопрос и метод проходят рецензирование до знакомства с исходами, а решение о принципиальном принятии связано с качеством плана. Это помогает уменьшать зависимость публикации от того, получился ли эффект, но не делает каждую работу безошибочной.

Открытые материалы, код и допустимые данные помогают проверке расчётов. Однако открытость не требует публиковать сведения, по которым можно узнать участника. Иногда уместны синтетические данные, ограниченный доступ или только агрегированные результаты с понятным описанием ограничений.

Ошибка — сообщать единственный удачный анализ из множества как заранее запланированную проверку. В вымышленном проекте можно исследовать разные способы группировки, но нельзя скрывать их перебор. Честная карта решений информативнее красивой цифры, происхождение которой неизвестно.