Хорошо объясняет прошлое — хорошо предсказывает новое?

Хорошо объясняет прошлое — хорошо предсказывает новое?

Объяснение и прогноз связаны, но ставят разные задачи. Объяснительная модель стремится понять отношения и механизмы, а прогностическая — точно оценить новый результат на доступной информации. Простая причинная гипотеза может плохо предсказывать отдельного человека из-за множества других факторов. Гибкая модель может хорошо предсказывать, не раскрывая причинного механизма. Поэтому качество одного вида не следует автоматически приписывать другому.

Переобучение возникает, когда модель приспосабливается не только к устойчивой структуре, но и к случайным особенностям данных разработки. Чем больше вариантов настройки и сложнее модель, тем легче получить впечатляющее описание прошлого. Проверка на новых данных показывает, какая часть качества переносится. Нельзя многократно подбирать параметры по тестовой выборке и продолжать считать её независимой: она постепенно становится частью разработки.

Разделение данных должно соответствовать будущему применению. Если у одного участника много записей, случайное распределение строк между обучением и тестом может оставить того же человека в обеих частях. Тогда модель использует его устойчивые особенности и даёт слишком оптимистичную оценку прогноза для совершенно новых людей. Аналогичная проблема возникает с временными данными, когда будущая информация случайно попадает в прогноз прошлого.

Утечка данных может быть явной или незаметной. Например, признак «число подсказок после ошибки» недоступен до решения, которое модель якобы предсказывает. Предобработка, выбор переменных и настройка порогов также должны выполняться без использования оценочных исходов. Иначе итоговая точность измеряет не реальную способность предвидеть новый случай, а частичное знание ответа. Хорошее название алгоритма не исправляет этот дизайн.

Базовая модель необходима для понимания пользы. Если лишь десятая часть участников нуждается в разборе, правило «никому не предлагать» будет верно в 90% случаев по общей точности, но пропустит все нужные случаи. Поэтому выбирают показатели под цель: доли разных ошибок, точность вероятностей, нагрузку и полезность решения. Одно высокое число без сравнения с простым правилом может вводить в заблуждение.

Добавочная полезность отвечает на вопрос, насколько новый набор сведений улучшает прогноз относительно уже доступного. Важно проверять её на независимых данных и выражать в подходящих единицах. Рост объяснённой дисперсии с 0,12 до 0,15 — три процентных пункта, а не «модель стала объяснять на 15% больше каждого человека». Даже реальный прирост нужно сопоставить с затратами и рисками получения дополнительных сведений.

Калибровка и различение описывают разные свойства вероятностного прогноза. Модель может хорошо ранжировать случаи, но систематически завышать вероятности. Хорошая калибровка означает соответствие частот заявленным вероятностям в подходящих группах случаев, но не гарантирует высокой способности различать конкретных людей. Для решения важно знать оба свойства и их перенос на новые условия, не превращая вероятность в неизбежность.

Практическая проверка включает заранее определённые исходы, разделение разработки и оценки, простые альтернативы, анализ ошибок и мониторинг изменившихся условий. После внедрения среда может измениться, а само решение модели — повлиять на последующие данные. Поэтому прогноз не является разовой магической находкой. Он требует ограниченного применения, возможности пересмотра и ясного объяснения, что именно известно о его качестве.