Кривая ROC и AUC в машинном обучении: полное руководство!

Модели машинного обучения — это математические механизмы, которые управляют искусственным интеллектом и поэтому очень важны для успешной реализации ИИ. Фактически, можно сказать, что ваш ИИ настолько хорош, насколько хороши модели машин, которые его приводят в действие.

Итак, теперь, убедившись в важности хорошей модели машинного обучения, вы приступаете к выполнению задачи и после некоторой упорной работы наконец создаете то, что, по вашему мнению, является отличной моделью машинного обучения. Поздравляем!

Но подождите. Как определить, насколько хороша ваша модель машинного обучения? Очевидно, что вам нужны объективные средства измерения производительности вашей модели машинного обучения и определения того, достаточно ли она хороша для реализации. Было бы полезно, если бы у вас была кривая ROC.

В этой статье есть все, что вам нужно знать о кривых ROC. Мы определим кривые ROC и термин «площадь под кривой ROC», узнаем, как использовать кривые ROC в моделировании производительности, а также получим множество другой ценной информации. Начнем с некоторых определений.

Что такое ROC-кривая?

Кривая ROC (что означает «рабочая характеристика приемника») — это график, который показывает производительность модели классификации при всех пороговых значениях классификации. Это кривая вероятности, которая отображает два параметра: истинно положительный уровень (TPR) и ложный положительный уровень (FPR) при различных пороговых значениях и отделяет так называемый «сигнал» от «шума».

Кривая ROC отображает соотношение истинно положительного результата и ложноположительного результата при различных пороговых значениях классификации. Если пользователь снижает порог классификации, больше элементов классифицируются как положительные, что увеличивает как ложные, так и истинные положительные результаты. Некоторые изображения по этому поводу вы можете увидеть здесь.

ROC-кривая

Кривая ROC (рабочая характеристика приемника) — это графическое представление, используемое для оценки производительности двоичного классификатора. Он отображает два ключевых показателя:

1. Доля истинных положительных результатов (TPR): также известный как чувствительность или отзыв, он измеряет долю фактических положительных результатов, правильно определенных моделью. Он рассчитывается как:
   TPR = истинные положительные результаты/(TP) истинные положительные результаты (TP) + ложноотрицательные результаты
2. Доля ложноположительных результатов (FPR): измеряет долю фактических негативов, ошибочно идентифицированных моделью как позитивы. Он рассчитывается как:
   FPR = ложноположительные результаты (FP)/ложноположительные результаты (FP)+истинно отрицательные результаты (TN)

Кривая ROC отображает зависимость TPR (ось Y) от FPR (ось X) при различных пороговых значениях. Вот более подробное объяснение этих показателей:

• True Positive (TP): экземпляр положительный, и модель правильно классифицирует его как положительный.
• Ложное срабатывание (FP): экземпляр отрицательный, но модель неправильно классифицирует его как положительный.
• Истинно отрицательный (TN): экземпляр отрицательный, и модель правильно классифицирует его как отрицательный.
• Ложноотрицательный результат (FN): экземпляр положительный, но модель неправильно классифицирует его как отрицательный.

Интерпретация кривой ROC

• Кривая ближе к верхнему левому углу указывает на более эффективную модель.
• Диагональная линия (от (0,0) до (1,1)) представляет собой случайный классификатор.
• Площадь под кривой ROC (AUC) — это единственное скалярное значение, которое измеряет общую производительность модели. Он варьируется от 0 до 1, а более высокий показатель AUC указывает на более эффективную модель.

Площадь под кривой ROC (AUC)

Площадь под кривой ROC (AUC) — это одно скалярное значение, которое суммирует общую производительность модели бинарной классификации. Он измеряет способность модели различать положительные и отрицательные классы. Вот что вам нужно знать об AUC:

Ключевые моменты об AUC

Диапазон AUC:

• Значение AUC варьируется от 0 до 1.
• AUC, равная 0,5, указывает на то, что модель работает не лучше, чем случайная случайность.
• AUC ближе к 1 указывает на модель с отличными характеристиками.

Интерпретация значений AUC:

• 0,9–1,0: Отлично
• 0,8–0,9: Хорошо
• 0,7–0,8: удовлетворительно
• 0,6–0,7: Плохо
• 0,5–0,6: Не удалось

Преимущества использования AUC:

• Независимый от порога: AUC оценивает производительность модели по всем возможным порогам классификации.
• Масштабный инвариант: AUC измеряет, насколько хорошо ранжируются прогнозы, а не их абсолютные значения.

Расчет AUC:

• AUC обычно рассчитывается с использованием методов численного интегрирования, таких как правило трапеций, применяемое к кривой ROC.
• С практической точки зрения такие библиотеки, как Scikit-learn в Python, предоставляют функции для вычисления AUC непосредственно на основе прогнозов модели и истинных меток.

Ключевые термины, используемые в кривой AUC и ROC

1. Истинно позитивный (TP)

• Определение: количество положительных случаев, правильно идентифицированных моделью.
• Пример: В медицинском тесте ТП – это когда тест правильно идентифицирует человека с заболеванием как больного.

2. Истинно отрицательный результат (TN)

• Определение: количество отрицательных случаев, правильно идентифицированных моделью.
• Пример. В спам-фильтре TN — это когда законное электронное письмо правильно идентифицируется как не спам.

3. Ложное срабатывание (FP)

• Определение: количество отрицательных случаев, ошибочно определенных моделью как положительные.
• Пример. В системе обнаружения мошенничества FP — это ситуация, когда законная транзакция ошибочно помечена как мошенническая.

4. Ложноотрицательный результат (ЛН).

• Определение: количество положительных случаев, ошибочно определенных моделью как отрицательные.
• Пример: В скрининговом тесте на рак ФН – это когда у человека, больного раком, ошибочно определяется отсутствие рака.

5. Истинно положительный показатель (TPR)

• Определение: Также известный как чувствительность или отзыв, он измеряет долю фактических положительных результатов, которые правильно идентифицируются моделью.
• Формула: TPR=TP/TP+FN
• Пример: TPR, равный 0,8, означает, что 80% реальных положительных случаев идентифицированы правильно.

6. Уровень ложноположительных результатов (FPR)

• Определение: он измеряет долю фактических негативов, которые модель ошибочно идентифицирует как позитивные.
• Формула: FPR=FP/FP+TN
• Пример: FPR, равный 0,1, означает, что 10% реальных отрицательных случаев идентифицированы неправильно.

7. Порог

• Определение: значение, при котором прогноз модели преобразуется в двоичную классификацию. Регулируя порог, можно получить разные значения TPR и FPR.
• Пример. В задаче двоичной классификации порог 0,5 может означать, что прогнозируемые вероятности выше 0,5 классифицируются как положительные.

8. Кривая ROC

• Определение: графический график, иллюстрирующий диагностические возможности бинарного классификатора, поскольку его порог дискриминации варьируется. Он отображает зависимость TPR от FPR при различных пороговых значениях.
• Пример: кривая ROC, расположенная рядом с верхним левым углом, указывает на более эффективную модель.

9. Площадь под кривой (AUC)

• Определение: одно скалярное значение, которое суммирует общую производительность двоичного классификатора по всем возможным пороговым значениям. Это область под кривой ROC.
• Диапазон: от 0 до 1, где 1 означает идеальную производительность, а 0,5 — не лучше, чем случайное угадывание.
• Пример: AUC 0,9 ​​указывает на отличную производительность.

10. Точность

• Определение: доля положительных идентификаций, которые на самом деле верны.
• Формула: Точность=TP/TP+FP​
• Пример. Точность 0,75 означает, что 75% случаев, классифицированных как положительные, на самом деле являются положительными.

11. Память (Чувствительность)

• Определение: Еще один термин для истинно положительного показателя (TPR), измеряющий долю правильно выявленных фактических положительных результатов.
• Пример: Отзыв 0,8 означает, что 80% реальных положительных случаев идентифицированы правильно.

12. Специфика

• Определение: доля фактических негативов, правильно определенных моделью.
• Формула: Специфичность=TN/TN+FP
• Пример: Специфичность 0,9 означает, что 90% реальных отрицательных случаев идентифицированы правильно.

Что такое кривая ROC: как вы оцениваете производительность модели?

AUC — ценный инструмент для оценки эффективности модели. У превосходной модели AUC близка к 1, что указывает на хорошую степень разделимости. Следовательно, AUC плохой модели приближается к 0, демонстрируя худший показатель разделимости. Фактически, близость к 0 означает, что он отвечает взаимностью на результат, предсказывая отрицательный класс как положительный и наоборот, показывая 0 как 1, а 1 как 0. Наконец, если AUC равен 0,5, это показывает, что модель вообще не обладает способностью разделения классов.

Итак, когда у нас есть 0,5

Связь между чувствительностью, специфичностью, FPR и порогом

Прежде чем мы рассмотрим связь между специфичностью, FPR, чувствительностью и порогом, мы должны сначала рассмотреть их определения в контексте моделей машинного обучения. Для этого нам понадобится матрица путаницы, которая поможет нам лучше понять термины. Вот пример матрица путаницы:

Источник

TP означает True Positive, а TN означает True Negative. FP означает ложноположительный результат, а FN означает ложноотрицательный результат.

• Чувствительность. Чувствительность, также называемая «отзывом», — это показатель, показывающий способность модели прогнозировать истинные положительные результаты всех доступных категорий. Он показывает, какая доля положительного класса была классифицирована правильно. Например, при попытке выяснить, сколько людей заболело гриппом, чувствительность или истинно положительный показатель измеряют долю людей, которые больны гриппом и были правильно спрогнозированы как заболевшие.

Вот как математически рассчитать чувствительность:

Чувствительность = (истинно положительный результат)/(истинно положительный + ложноотрицательный результат)

• Специфичность: показатель специфичности Специфичность оценивает способность модели предсказывать истинные отрицательные результаты всех доступных категорий. Он показывает, какая доля отрицательного класса была классифицирована правильно. Например, специфичность измеряет долю людей, у которых нет гриппа и которые были правильно спрогнозированы как не страдающие им в нашем сценарии гриппа.

Вот как рассчитать специфичность:

Специфичность = (истинно отрицательный результат)/(истинно отрицательный + ложноположительный результат)

• FPR: FPR означает «Доля ложноположительных результатов» и показывает, какая часть отрицательного класса была неправильно классифицирована. Эта формула показывает, как мы рассчитываем FPR:

FPR= 1 – Специфичность

• Порог: Порог — это указанная точка отсечки, для которой наблюдение должно быть классифицировано как 0 или 1. Обычно в качестве порога по умолчанию используется значение 0,5, хотя это не всегда предполагается.

Чувствительность и специфичность обратно пропорциональны, поэтому, если мы повысим чувствительность, специфичность упадет, и наоборот. Более того, мы получаем больше положительных значений, когда уменьшаем порог, тем самым повышая чувствительность и снижая специфичность.

С другой стороны, если мы повысим порог, мы получим больше отрицательных значений, что приведет к более высокой специфичности и более низкой чувствительности.

А поскольку FPR равен 1 – специфичность, то когда мы увеличиваем TPR, FPR тоже увеличивается и наоборот.

Как работает AUC-ROC

AUC-ROC (площадь под кривой — рабочая характеристика приемника) — это показатель производительности задач классификации при различных пороговых значениях. Вот как это работает:

Изменение порога:

• Кривая ROC создается путем построения графика истинной положительной ставки (TPR) против ложной положительной ставки (FPR) на различных пороговых уровнях.
• Варьируя порог, получаются разные пары значений TPR и FPR.

Построение кривой ROC:

• Истинный положительный уровень (TPR), также известный как чувствительность или отзыв, отображается на оси Y. Это отношение истинных положительных результатов к сумме истинных положительных и ложных отрицательных результатов.
• Уровень ложноположительных результатов (FPR) отложен на оси X. Это отношение ложноположительных результатов к сумме ложноположительных и истинно отрицательных результатов.

Расчет AUC:

• Площадь под кривой ROC (AUC) количественно определяет общую способность модели различать положительные и отрицательные классы.
• Значение AUC варьируется от 0 до 1. Значение 0,5 предполагает отсутствие дискриминации (случайная производительность), а значение ближе к 1 указывает на отличную производительность модели.

Когда использовать метрику оценки AUC-ROC?

Метрика AUC-ROC особенно полезна в следующих сценариях:

1. Проблемы двоичной классификации: в основном используется для задач двоичной классификации только с двумя классами.
2. Несбалансированные наборы данных: AUC-ROC полезен при работе с несбалансированными наборами данных, обеспечивая совокупную оценку производительности по всем возможным пороговым значениям классификации.
3. Сравнение моделей: полезно для сравнения производительности различных моделей. Более высокое значение AUC указывает на более эффективную модель.
4. Независимая от порога оценка: когда вам нужен показатель производительности, который не зависит от выбора определенного порога классификации.

Понимание кривой AUC-ROC

1. Интерпретация кривой ROC

• Ближе к верхнему левому углу: кривая, охватывающая верхний левый угол, указывает на высокопроизводительную модель с высоким TPR и низким FPR.
• Диагональная линия: кривая вдоль диагональной линии (от (0,0) до (1,1)) указывает на модель без способности к распознаванию, что эквивалентно случайному угадыванию.

2. Интерпретация значения AUC

• 0,9–1,0: Отличная способность к дискриминации.
• 0,8–0,9: Хорошая способность к дискриминации.
• 0,7–0,8: Хорошая способность к дискриминации.
• 0,6–0,7: Плохая способность к дискриминации.
• 0,5–0,6: Не удалось, модель работает хуже, чем случайное угадывание.

Как использовать кривую AUC-ROC для многоклассовой модели

Мы можем использовать методологию «Один против ВСЕХ» для построения N количества кривых AUC ROC для N числовых классов при использовании многоклассовой модели. Один против ВСЕХ дает нам возможность использовать бинарную классификацию. Если у вас есть проблема классификации с N возможными решениями, One vs. ALL предоставляет нам один двоичный классификатор для каждого возможного результата.

Например, у вас есть три класса с именами 0, 1 и 2. У вас будет один ROC для 0, классифицированный по 1 и 2, другой ROC для 1, который классифицируется по 0 и 2, и, наконец, третий. из 2 классифицировано против 0 и 1.

Нам следует воспользоваться моментом и объяснить методологию «Один против ВСЕХ», чтобы лучше ответить на вопрос «что такое кривая ROC?». Эта методология состоит из N отдельных двоичных классификаторов. Во время обучения модель проходит через последовательность двоичных классификаторов, обучая каждого отвечать на классификационный вопрос. Например, если у вас есть изображение кошки, вы можете обучить четыре разных распознавателя: один воспринимает изображение как положительный пример (кот), а три других видят отрицательный пример (не кот). Это будет выглядеть так:

• Это брюква? Нет
• Это изображение кота? Да
• Это изображение собаки? Нет
• Это изображение молоток? Нет

Эта методология хорошо работает с небольшим количеством классов. Однако по мере увеличения количества классов модель становится все более неэффективной.

Ускорьте свою карьеру в области искусственного интеллекта и машинного обучения с помощью курсов по искусственному интеллекту и машинному обучению Университета Пердью, организованных совместно с IBM.

Вы заинтересованы в карьере в области машинного обучения?

О машинном обучении можно многое узнать, как вы можете узнать из этой статьи «Что такое кривая ROC»! Однако и машинное обучение, и искусственный интеллект — это волны будущего, поэтому стоит приобретать навыки и знания в этих областях. Кто знает? Вы можете найти себя в захватывающей карьере в области машинного обучения!

Если вы хотите сделать карьеру в области машинного обучения, Simplilearn может помочь вам на этом пути. Сертификация AI и ML предлагает студентам углубленный обзор тем машинного обучения. Вы научитесь разрабатывать алгоритмы с использованием контролируемого и неконтролируемого обучения, работать с данными в реальном времени и узнаете о таких концепциях, как регрессия, классификация и моделирование временных рядов. Вы также узнаете, как можно использовать Python для составления прогнозов на основе данных. Кроме того, программа включает 58 часов прикладного обучения, интерактивные лаборатории, четыре практических проекта и наставничество.

А поскольку машинное обучение и искусственный интеллект так часто работают вместе, ознакомьтесь с магистерской программой Simplilearn для инженеров по искусственному интеллекту и охватите все свои основы.

По данным Glassdoor, инженеры по машинному обучению в США получают среднюю годовую базовую зарплату в размере 133 001 доллар. Payscale.com сообщает, что инженеры по машинному обучению в Индии потенциально могут зарабатывать в среднем 732 566 фунтов стерлингов в год.

Так что посетите Simplilearn сегодня и изучите богатые возможности полезной профессии в области машинного обучения!

Часто задаваемые вопросы

1. Как выглядит идеальная кривая AUC-ROC?

Идеальная кривая AUC-ROC достигает верхнего левого угла графика, указывая, что истинно положительный уровень (TPR) равен 1, а уровень ложно положительного результата (FPR) равен 0 для некоторого порога. Это означает, что модель прекрасно различает положительные и отрицательные классы, в результате чего значение AUC равно 1,0.

2. Что означает значение AUC 0,5?

Значение AUC 0,5 означает, что производительность модели не лучше, чем случайное угадывание. Это указывает на то, что модель не может различать положительные и отрицательные классы, поскольку уровень истинного положительного результата (TPR) и уровень ложного положительного результата (FPR) одинаковы для всех пороговых значений.

3. Как сравнивать ROC-кривые разных моделей?

Чтобы сравнить кривые ROC разных моделей, постройте кривую ROC каждой модели на одном графике и изучите их форму и положение. Модель с кривой ROC, ближайшей к верхнему левому углу, и с самым высоким значением площади под кривой (AUC), как правило, работает лучше.

4. Каковы некоторые ограничения кривой ROC?

Некоторые ограничения кривой ROC включают в себя:

• Он может быть менее информативным для сильно несбалансированных наборов данных, поскольку на кривой может доминировать истинно отрицательный коэффициент (специфичность).
• Он не учитывает стоимость ложноположительных и ложноотрицательных результатов, что может иметь решающее значение в некоторых приложениях.
• В определенных контекстах интерпретация может быть менее интуитивной по сравнению с кривыми точного отзыва.

5. Какие общие показатели получаются на основе ROC-кривых?

Общие показатели, полученные на основе кривых ROC, включают:

• Доля истинно положительных результатов (TPR): также известный как чувствительность или отзыв, он измеряет долю правильно идентифицированных фактических положительных результатов.
• Доля ложноположительных результатов (FPR): измеряет долю фактически отрицательных результатов, ошибочно идентифицированных как положительные.
• Площадь под кривой (AUC): суммирует общую производительность модели по всем пороговым значениям.
• Оптимальный порог: пороговое значение максимизирует TPR при минимизации FPR.