Справедливость: измерение, правило и последствия
Различать сопоставимость измерения и справедливость решения · Анализировать разные виды ошибок
В этом занятии
- Различать сопоставимость измерения и справедливость решения
- Анализировать разные виды ошибок
- Не сводить этику к одному статистическому показателю
Пригодится: Рекомендуем сначала изучить «Размер эффекта и неопределённость: что важнее звёздочки».
Разберёмся перед практикой+
Справедливость: измерение, правило и последствия
Справедливость применения измерений начинается с ясной цели. Проверка освоения темы для предложения помощи и отбор людей с ограничением возможностей — разные ситуации с разной ценой ошибки. Даже качественное измерение не определяет автоматически, какое решение следует принять. Нужно объяснить, зачем собираются данные, как используется результат, какие последствия возможны и может ли человек получить понятное объяснение и пересмотр.
Измерительная справедливость включает отсутствие нерелевантных препятствий и сопоставимость смысла результата. Если задание на понимание схемы требует сложного ввода, не относящегося к цели, часть различий может отражать этот барьер. Уменьшение постороннего требования способно улучшить доступность без снижения содержательного критерия. Но изменение формата должно проверяться: одинаковая внешняя процедура не всегда даёт одинаковые возможности показать нужное знание.
Справедливость правила решения — отдельный уровень. Можно применять один порог ко всем, но иметь разную точность измерения или разные последствия ошибки. Можно получить одинаковые доли положительных решений и при этом плохо различать нуждающихся в помощи. Поэтому равенство одного итогового процента не является универсальным доказательством справедливости. Следует назвать критерий, его смысл и возможный конфликт с другими важными требованиями.
Для условного правила предложения поддержки различают пропущенную потребность и лишнее предложение. Первая ошибка оставляет человека без полезной помощи, вторая может создавать нагрузку или неудобство. Цена зависит от того, что именно означает поддержка и насколько она добровольна. В безопасном учебном контексте небольшое добровольное предложение может иметь другую цену, чем автоматическое ограничение доступа к сложному материалу.
Статистические критерии иногда несовместимы при различающихся исходных частотах и несовершенном прогнозе. Например, равенство определённых ошибок и равенство точности среди получивших положительное решение не всегда достижимы одновременно. Это математический повод обсуждать цель и компромиссы, а не выбирать один показатель как естественный закон справедливости. Также сам критерий «реальной потребности» может быть измерен с ошибкой и нуждается в обосновании.
Групповые проверки полезны для обнаружения барьеров, но требуют осторожного сбора данных и ясной необходимости. Нельзя ради красивого отчёта бесконтрольно собирать чувствительные сведения или использовать принадлежность к группе как объяснение ценности человека. В данном курсе используются только вымышленные группы условий. Международные методологические статьи описывают статистические вопросы; они не подменяют требования российского законодательства или профессиональное правовое заключение.
Прозрачность помогает снизить ущерб от ошибки. Пользователь должен понимать, что результат относится к конкретной теме и процедуре, а не к его общему потенциалу. Возможность повторной проверки, альтернативного способа показать знание и человеческого рассмотрения важна там, где решение существенно. При этом прозрачность не означает публикацию чужих ответов или персональных данных: объясняют правило и основание собственного результата в допустимых границах.
Практически полезно начинать с минимально ограничивающего решения. Вместо автоматического запрета темы можно предложить добровольный разбор, показать пробелы по конкретным заданиям и дать возможность продолжить. Затем оценивать, кому предложение помогает, какую нагрузку создаёт и не появляется ли систематический барьер. Справедливость становится проверяемой работой с целью, измерением и последствиями, а не декоративной галочкой рядом с алгоритмом.
В вымышленной проверке из 20 участников, которым содержательный разбор действительно помог бы по принятому условному критерию, система предложила его 15. Из 30 остальных предложение получили 6. Это 5 пропусков и 6 лишних предложений. Оценка правила зависит от того, является ли разбор добровольной подсказкой или обязательным препятствием доступу. Даже одинаковые проценты ошибок в двух группах не заменяют проверки качества самого критерия и последствий.
- Строим таблицу результата правила и условного критерия, не называя критерий безошибочной истиной.
- Различаем пропуски и лишние предложения и обсуждаем их цену в конкретном применении.
- Предпочитаем объяснимую обратимую помощь и проверяем доступность, а не ограничиваем возможности по одному баллу.
Открываем учебную модель…
Попробуй самостоятельно
Запиши рассуждения в черновик или сделай построение на бумаге. Эти задания для самостоятельной работы: автоматической проверки и XP за них пока нет.
- Для вымышленного предложения поддержки опиши две ошибки и их последствия. Сравни добровольный разбор и автоматический запрет продолжения: почему одинаковая статистика может иметь разный практический смысл?
- Составь короткое объяснение пользователю, получившему рекомендацию повторить тему: конкретное основание, ограничение вывода, доступная помощь и возможность пересмотра. Не добавляй психологический ярлык.
Источники и дальнейшее чтение
Материал изложен своими словами. Здесь можно проверить научные основания и подробнее изучить тему; часть источников — на английском.
Читай и разбирай пример в своём темпе. К практике можно перейти, когда будешь готов.