Методика: Энтропия и прирост информации онлайн: корень дерева решений (ID3)
Страница расчёта: открыть инструмент
Формула
H(S) = −Σ pᵢ·log₂ pᵢ по классам целевого столбца (0·log 0 считаем нулём); для признака A со значениями v: H(S|A) = Σ (|Sᵥ|/|S|)·H(Sᵥ); IG(A) = H(S) − H(S|A). Корень ID3 — признак с максимальным приростом. Все логарифмы двоичные, ответ в битах.
Как выполняется расчёт
- Вставьте таблицу: первой строкой заголовки, разделитель — запятая, ; или таб.
- Укажите, какой столбец — класс (целевой признак).
- Получите H(S), сводку по признакам и пошаговые подстановки частот.
- Скопируйте решение целиком — формат «формула и числа» готов для отчёта.
Ограничения и допущения
- Все признаки считаются категориальными; непрерывные нужно сначала дискретизовать — иначе каждое значение станет отдельной категорией.
- ID3 — жадный алгоритм: он выбирает только корень, а всё дерево строить ему не поручали (это следующий шаг лабы).
- Прирост информации любит признаки с кучей мелких значений — на них дерево переобучается; лекарство от этого — нормированный прирост (C4.5).