Сообщение и уменьшение неопределённости
В вероятностной модели количество информации события с вероятностью p равно −log₂p.
В этом занятии
- Самостоятельно решить задачу по теме «Сообщение и уменьшение неопределённости» и объяснить проверку результата.
- Придумай игру угадывания одной из восьми карточек тремя вопросами «да/нет». Объясни, почему вопросы должны делить варианты удачно.
Пригодится: informatics10-information-volume
Разберёмся перед практикой+
Сообщение и уменьшение неопределённости
В вероятностной модели количество информации события с вероятностью p равно −log2p. Для N равновероятных вариантов сообщение о единственном результате даёт log2N бит. Это мера неопределённости модели, а не полезности или эмоциональной важности новости.
Один и тот же текст может иметь разную неожиданность для разных получателей. Объём файла и количество информации в вероятностной модели — разные величины. Формула требует известных вероятностей; их нельзя подменять произвольными догадками.
Выбрана одна из восьми равновероятных карточек. Узнать точную карточку — 3 бита. Событие с вероятностью 1/2 — 1 бит.
- Укажи вероятностную модель.
- Определи вероятность события.
- Найди, какую степень 1/2 она представляет.
Попробуйте самостоятельно
Запишите рассуждения в черновик или сделайте построение на бумаге. Эти задания для самостоятельной работы: автоматической проверки и XP за них пока нет.
- Придумай игру угадывания одной из восьми карточек тремя вопросами «да/нет». Объясни, почему вопросы должны делить варианты удачно.
- Сначала предположите результат, затем проверьте и объясните, что изменилось.
Источники и дальнейшее чтение
Материал изложен своими словами. Здесь можно проверить научные основания и подробнее изучить тему; часть источников — на английском.
Читайте и разбирайте пример в своём темпе. К практике можно перейти, когда будете готовы.