Данные: очистка, закономерности и прогноз
Анализ начинается с вопроса и проверки данных: типы, единицы, пропуски, дубли и происхождение.
В этом занятии
- Самостоятельно решить задачу по теме «Данные: очистка, закономерности и прогноз» и объяснить проверку результата.
- Миссия «Чистая лаборатория»: отметь в вымышленной таблице один дубль, один пропуск и подозрительную единицу измерения. Запиши решения, не подменяя неизвестное нулём.
Пригодится: informatics11-trees-games
Разберёмся перед практикой+
Данные: очистка, закономерности и прогноз
Анализ начинается с вопроса и проверки данных: типы, единицы, пропуски, дубли и происхождение. Необычное значение может быть ошибкой или важным событием. Удалять его без выяснения причины нельзя; любые исправления фиксируют.
Классификация относит объект к известным категориям, кластеризация ищет похожие группы без готовых меток. Прогноз оценивает будущий или неизвестный результат на основе модели. Большой объём данных не исправляет систематические ошибки отбора и не доказывает причинность.
В таблице температуры 18,19,180,20 значение 180 выглядит подозрительно для комнаты. Сначала проверяют единицы и источник, затем принимают обоснованное решение, сохраняя историю исправления.
- Проверь качество и смысл данных до расчётов.
- Выбери задачу: категория, группа, прогноз или поиск отклонения.
Открываем цифровую мастерскую…
Попробуй самостоятельно
Запиши рассуждения в черновик или сделай построение на бумаге. Эти задания для самостоятельной работы: автоматической проверки и XP за них пока нет.
- Миссия «Чистая лаборатория»: отметь в вымышленной таблице один дубль, один пропуск и подозрительную единицу измерения. Запиши решения, не подменяя неизвестное нулём.
- Сначала предположи результат, затем проверь и объясни, что изменилось.
Источники и дальнейшее чтение
Материал изложен своими словами. Здесь можно проверить научные основания и подробнее изучить тему; часть источников — на английском.
Читай и разбирай пример в своём темпе. К практике можно перейти, когда будешь готов.