Развлечения

Матрица ошибок онлайн: точность, полнота и F-мера с подстановкой чисел

Коротко

Впишите четыре числа матрицы ошибок — TP, FP, FN и TN — и сразу получите всю картину: долю правильных ответов, точность, полноту, специфичность, F-меру, коэффициент Мэтьюса и остальные метрики. Под каждой формулой — подстановка ваших чисел, удобно сверять с ручным расчётом в лабораторной. Вывод написан словами: чем модель грешит сильнее — ложными тревогами или пропусками. Считается прямо в браузере, ничего никуда не отправляется.

Инструмент

Прогноз модели
+ −
факт +
факт −

Всего объектов: 200

β > 1 — дороже пропуски; β < 1 — дороже ложные тревоги.

Точность (0.895) и полнота (0.850) почти равны — оба вида ошибок сбалансированы.
Метрика Формула Подстановка Значение
Доля правильных ответов (85 + 90) / 200 0,8750
Сбалансированная точность (85/100 + 90/100) / 2 0,8750
Точность 85 / (85 + 10) 0,8947
Полнота (чувствительность) 85 / (85 + 15) 0,8500
Специфичность 90 / (90 + 10) 0,9000
Доля ложных тревог 10 / (10 + 90) 0,1000
Доля пропусков 15 / (15 + 85) 0,1500
Прогностичность отрицательного ответа 90 / (90 + 15) 0,8571
Доля ложных обнаружений 10 / (85 + 10) 0,1053
F1-мера 2·(85/95)·(85/100) / (85/95 + 85/100) 0,8718
F-мера (β = 1) (1 + 1²)·P·R / (1²·P + R) 0,8718
Коэффициент Мэтьюса (85·90 − 10·15) / √(95·100·100·105) 0,7509

Зачем калькулятор, если есть sklearn

Для экзамена, отчёта по лабе и собеседований нужна не цифра, а строчка «TP/(TP+FP) = 85/(85+10) = 0,895». Такие строчки и печатает эта страница: формула, подстановка, ответ — по каждой метрике. Кнопка «Скопировать в отчёт» складывает всё в аккуратный markdown.

Покрываемые вопросы

На этой странице также отвечаем на вопросы: «confusion matrix онлайн», «матрица ошибок калькулятор», «f1 мера онлайн калькулятор», «точность и полнота калькулятор», «precision recall f1 посчитать онлайн», «MCC калькулятор», «специфичность чувствительность калькулятор», «метрики классификации посчитать онлайн».

Как считаем

Доля верных = (TP+TN)/N; точность = TP/(TP+FP); полнота = TP/(TP+FN); специфичность = TN/(TN+FP); FPR = FP/(FP+TN); FNR = FN/(FN+TP); NPV = TN/(TN+FN); FDR = FP/(TP+FP); сбалансированная точность = (полнота+специфичность)/2; F-мера = 2·точность·полнота/(точность+полнота); Fβ = (1+β²)·точность·полнота/(β²·точность+полнота); коэффициент Мэтьюса MCC = (TP·TN−FP·FN)/√((TP+FP)(TP+FN)(TN+FP)(TN+FN)). Если знаменатель равен нулю — метрика не определена, вместо неё прочерк.

Ограничения и допущения

  • Всё посчитано для одной модели и одного положительного класса. Для многоклассовой задачи нужны макро- и микроусреднения — этот калькулятор их не делает.
  • ROC-AUC здесь не считается: ему нужны вероятности и пороги, а матрица — только финальные ответы.
  • Любую метрику стоит доверять, только если тестовая выборка собрана случайно и представляет вашу задачу.
Полная методика, шаги и источники

Частые вопросы

матрица ошибок что это простыми словами
Таблица 2×2: TP — угадала «да», FP — подняла ложную тревогу, FN — проглядела объект, TN — правильно сказала «нет». Все остальные метрики — просто разные способы поделить эти четыре числа.
в чём разница точности и полноты
Точность отвечает на вопрос, насколько верить положительному ответу, полнота — много ли модель пропустила. Обычно они спорят друг с другом: строже пороги — выше точность, но больше пропусков; мягче — наоборот.
как считается F-мера
F-мера = 2·точность·полнота/(точность+полнота), гармоническое среднее двух метрик. Провалится любая из них — F-мера сразу утянет вниз. На сильном перекосе классов смотрите ещё коэффициент Мэтьюса: его перекосом не обмануть.
когда коэффициент Мэтьюса лучше доли правильных ответов
Когда классы несбалансированы. Модель, которая всегда отвечает «нет», на данных с 1 % положительных покажет долю правильных ответов 0,99 — и при этом коэффициент Мэтьюса ровно 0: она не разделяет классы вообще.

Ещё на сайте