Кривая ROC и AUC в машинном обучении: полное руководство!

Модели машинного обучения — это математические движки, которые управляют искусственным интеллектом, и поэтому они крайне важны для успешного внедрения ИИ. Фактически, можно сказать, что ваш ИИ настолько хорош, насколько хороши машинные модели, которые им управляют.

Итак, убедившись в важности хорошей модели машинного обучения, вы беретесь за дело и после упорной работы наконец создаете то, что считаете отличной моделью машинного обучения. Поздравляем!

Но ждать. Как определить, насколько хороша ваша модель машинного обучения? Очевидно, что вам нужны объективные средства измерения производительности вашей модели машинного обучения и определения того, достаточно ли она хороша для реализации. Было бы полезно, если бы у вас была кривая ROC.

В этой статье есть все, что вам нужно знать о кривых ROC. Мы определим кривые ROC и термин «площадь под кривой ROC», узнаем, как использовать кривые ROC в моделировании производительности, а также получим множество другой ценной информации. Начнем с некоторых определений.

Что такое ROC-кривая?

Кривая ROC (что означает «рабочая характеристика приемника») — это график, который показывает производительность модели классификации при всех пороговых значениях классификации. Это кривая вероятности, которая отображает два параметра: истинно положительный уровень (TPR) и ложный положительный уровень (FPR) при различных пороговых значениях и отделяет так называемый «сигнал» от «шума».

Кривая ROC отображает уровень истинного положительного результата в сравнении с уровнем ложноположительного результата при различных пороговых значениях классификации. Если пользователь снижает порог классификации, больше элементов классифицируются как положительные, что увеличивает как ложные, так и истинные положительные результаты. Вы можете увидеть некоторые изображения по этому поводу здесь.

Кривая ROC

Кривая ROC (Receiver Operating Characteristic) — это графическое представление, используемое для оценки производительности бинарного классификатора. Она отображает две ключевые метрики:

1. Доля истинных положительных результатов (TPR): также известный как чувствительность или отзыв, он измеряет долю фактических положительных результатов, правильно определенных моделью. Он рассчитывается как:
   TPR=Истинно положительные результаты/(TP)Истинно положительные результаты (TP)+Ложно отрицательные результаты
2. Доля ложноположительных результатов (FPR): измеряет долю фактических негативов, ошибочно идентифицированных моделью как позитивы. Он рассчитывается как:
   FPR = ложноположительные результаты (FP)/ложноположительные результаты (FP)+истинно отрицательные результаты (TN)

Кривая ROC отображает TPR (ось Y) против FPR (ось X) при различных пороговых значениях. Вот более подробное объяснение этих показателей:

• Истинно положительный (TP): экземпляр положительный, и модель правильно классифицирует его как положительный.
• Ложный положительный результат (FP): экземпляр отрицательный, но модель неверно классифицирует его как положительный.
• Истинно отрицательный (TN): экземпляр отрицательный, и модель правильно классифицирует его как отрицательный.
• Ложноотрицательный результат (FN): экземпляр положительный, но модель неправильно классифицирует его как отрицательный.

Интерпретация ROC-кривой

• Кривая, расположенная ближе к верхнему левому углу, указывает на более эффективную модель.
• Диагональная линия (от (0,0) до (1,1)) представляет собой случайный классификатор.
• Площадь под кривой ROC (AUC) — это одно скалярное значение, которое измеряет общую производительность модели. Он варьируется от 0 до 1, а более высокий показатель AUC указывает на более эффективную модель.

Площадь под кривой ROC (AUC)

Площадь под кривой ROC (AUC) — это единичное скалярное значение, которое суммирует общую производительность модели бинарной классификации. Оно измеряет способность модели различать положительные и отрицательные классы. Вот что вам нужно знать о AUC:

Ключевые моменты об AUC

Диапазон AUC:

• Значение AUC варьируется от 0 до 1.
• AUC 0,5 указывает на то, что модель работает не лучше, чем случайная случайность.
• AUC ближе к 1 указывает на модель с отличными характеристиками.

Интерпретация значений AUC:

• 0,9 – 1,0: Отлично
• 0,8 – 0,9: Хорошо
• 0,7 – 0,8: Удовлетворительно
• 0,6–0,7: Плохо
• 0,5–0,6: Не удалось

Преимущества использования AUC:

• Независимый от порога: AUC оценивает производительность модели по всем возможным порогам классификации.
• Масштабный инвариант: AUC измеряет степень ранжирования прогнозов, а не их абсолютные значения.

Расчет AUC:

• AUC обычно рассчитывается с использованием методов численного интегрирования, таких как правило трапеций, применяемое к кривой ROC.
• На практике библиотеки, такие как Scikit-learn в Python, предоставляют функции для вычисления AUC непосредственно из прогнозов модели и истинных меток.

Ключевые термины, используемые в кривых AUC и ROC

1. Истинно позитивный (TP)

• Определение: количество положительных случаев, правильно идентифицированных моделью.
• Пример: В медицинском тесте TP имеет место, когда тест правильно определяет наличие заболевания у человека.

2. Истинно отрицательный результат (TN)

• Определение: количество отрицательных случаев, правильно идентифицированных моделью.
• Пример: В спам-фильтре TN появляется, когда легитимное электронное письмо правильно идентифицируется как не спам.

3. Ложное срабатывание (FP)

• Определение: количество отрицательных случаев, ошибочно определенных моделью как положительные.
• Пример: в системе обнаружения мошенничества FP возникает, когда законная транзакция ошибочно помечается как мошенническая.

4. Ложноотрицательный результат (ЛОР)

• Определение: количество положительных случаев, ошибочно определенных моделью как отрицательные.
• Пример: В скрининговом тесте на рак ФН – это когда у человека, больного раком, ошибочно определяется отсутствие рака.

5. Истинно положительный показатель (TPR)

• Определение: Также известный как чувствительность или полнота, он измеряет долю фактических положительных результатов, которые правильно идентифицированы моделью.
• Формула: TPR=TP/TP+FN
• Пример: TPR, равный 0,8, означает, что 80% реальных положительных случаев идентифицированы правильно.

6. Коэффициент ложноположительных результатов (FPR)

• Определение: он измеряет долю фактических негативов, которые модель ошибочно идентифицирует как позитивные.
• Формула: FPR=FP/FP+TN
• Пример: FPR, равный 0,1, означает, что 10% реальных отрицательных случаев идентифицированы неправильно.

7. Порог

• Определение: Значение, при котором прогноз модели преобразуется в бинарную классификацию. Регулируя порог, можно получить различные значения TPR и FPR.
• Пример: в задаче бинарной классификации пороговое значение 0,5 может означать, что прогнозируемые вероятности выше 0,5 классифицируются как положительные.

8. Кривая ROC

• Определение: графический график, иллюстрирующий диагностические возможности бинарного классификатора, поскольку его порог дискриминации варьируется. Он отображает зависимость TPR от FPR при различных пороговых значениях.
• Пример: кривая ROC, расположенная рядом с верхним левым углом, указывает на более эффективную модель.

9. Площадь под кривой (AUC)

• Определение: Единичное скалярное значение, суммирующее общую производительность бинарного классификатора по всем возможным пороговым значениям. Это площадь под кривой ROC.
• Диапазон: от 0 до 1, где 1 означает идеальную производительность, а 0,5 — не лучше, чем случайное угадывание.
• Пример: AUC 0,9 ​​указывает на отличную производительность.

10. Точность

• Определение: доля положительных идентификаций, которые на самом деле верны.
• Формула: Точность=TP/TP+FP​
• Пример. Точность 0,75 означает, что 75% случаев, классифицированных как положительные, на самом деле являются положительными.

11. Память (Чувствительность)

• Определение: Другой термин для показателя истинно положительных результатов (TPR), измеряющий долю фактических правильно идентифицированных положительных результатов.
• Пример: Коэффициент полноты 0,8 означает, что 80% фактических положительных случаев идентифицированы правильно.

12. Специфика

• Определение: доля фактических негативов, правильно определенных моделью.
• Формула: Специфичность=TN/TN+FP
• Пример: Специфичность 0,9 означает, что 90% фактических отрицательных случаев идентифицированы правильно.

Что такое ROC-кривая: как оценить эффективность модели?

AUC — ценный инструмент для спекулятивной оценки производительности модели. У превосходной модели AUC близка к 1, что указывает на хорошую меру разделимости. Следовательно, AUC плохой модели склоняется ближе к 0, показывая наихудшую меру разделимости. Фактически, близость к 0 означает, что она меняет результат, предсказывая отрицательный класс как положительный и наоборот, показывая 0 как 1, а 1 как 0. Наконец, если AUC равна 0,5, это показывает, что у модели вообще нет возможности разделения классов.

Итак, когда мы имеем результат 0,5

Связь между чувствительностью, специфичностью, FPR и порогом

Прежде чем мы рассмотрим связь между Specificity, FPR, Sensitivity и Threshold, мы должны сначала рассмотреть их определения в контексте моделей машинного обучения. Для этого нам понадобится матрица путаницы, которая поможет нам лучше понять термины. Вот пример матрица путаницы:

Источник

TP означает True Positive, а TN означает True Negative. FP означает ложноположительный результат, а FN означает ложноотрицательный результат.

• Чувствительность: Чувствительность, также называемая «отзывом», — это метрика, которая показывает способность модели предсказывать истинно положительные результаты всех доступных категорий. Она показывает, какая доля положительного класса была классифицирована правильно. Например, при попытке выяснить, сколько людей больны гриппом, чувствительность или истинно положительный показатель измеряет долю людей, которые больны гриппом и были правильно предсказаны как имеющие его.

Вот как математически рассчитать чувствительность:

Чувствительность = (истинно положительный результат)/(истинно положительный + ложноотрицательный результат)

• Специфичность: показатель специфичности Специфичность оценивает способность модели предсказывать истинные отрицательные результаты всех доступных категорий. Он показывает, какая доля отрицательного класса была классифицирована правильно. Например, специфичность измеряет долю людей, у которых нет гриппа и которые были правильно спрогнозированы как не страдающие им в нашем сценарии гриппа.

Вот как рассчитать специфичность:

Специфичность = (Истинно отрицательный)/(Истинно отрицательный + Ложно положительный)

• FPR: FPR означает False Positive Rate и показывает, какая доля отрицательного класса была неправильно классифицирована. Эта формула показывает, как мы вычисляем FPR:

FPR= 1 – Специфичность

• Порог: Порог — это заданная точка отсечения для классификации наблюдения как 0 или 1. Обычно в качестве порога по умолчанию используется значение 0,5, хотя это не всегда так.

Чувствительность и специфичность обратно пропорциональны, поэтому если мы повышаем чувствительность, специфичность падает, и наоборот. Более того, мы получаем больше положительных значений, когда уменьшаем порог, тем самым повышая чувствительность и снижая специфичность.

С другой стороны, если мы повысим порог, мы получим больше отрицательных значений, что приведет к более высокой специфичности и более низкой чувствительности.

А поскольку FPR равен 1 – специфичность, то когда мы увеличиваем TPR, FPR тоже увеличивается и наоборот.

Как работает AUC-ROC

AUC-ROC (площадь под кривой — рабочая характеристика приемника) — это измерение производительности для задач классификации при различных пороговых значениях. Вот как это работает:

Изменение порога:

• Кривая ROC создается путем построения графика истинной положительной ставки (TPR) в зависимости от ложной положительной ставки (FPR) на различных пороговых уровнях.
• Изменяя пороговое значение, получают различные пары значений TPR и FPR.

Построение ROC-кривой:

• Истинно положительный процент (TPR), также известный как чувствительность или отзыв, откладывается на оси Y. Это отношение истинно положительных результатов к сумме истинно положительных и ложно отрицательных результатов.
• По оси X отложена частота ложноположительных результатов (FPR). Это отношение ложноположительных результатов к сумме ложноположительных и истинноотрицательных результатов.

Расчет AUC:

• Площадь под ROC-кривой (AUC) количественно характеризует общую способность модели различать положительные и отрицательные классы.
• Значение AUC варьируется от 0 до 1. Значение 0,5 указывает на отсутствие дискриминации (случайная эффективность), тогда как значение, близкое к 1, указывает на отличную эффективность модели.

Когда использовать метрику оценки AUC-ROC?

Метрика AUC-ROC особенно полезна в следующих сценариях:

1. Проблемы двоичной классификации: в основном используется для задач двоичной классификации только с двумя классами.
2. Несбалансированные наборы данных: AUC-ROC полезен при работе с несбалансированными наборами данных, предоставляя совокупный показатель производительности по всем возможным пороговым значениям классификации.
3. Сравнение моделей: полезно для сравнения производительности разных моделей. Более высокое значение AUC указывает на более производительную модель.
4. Независимая от порога оценка: когда вам нужен показатель производительности, который не зависит от выбора определенного порога классификации.

Понимание кривой AUC-ROC

1. Интерпретация ROC-кривой

• Ближе к верхнему левому углу: кривая, охватывающая верхний левый угол, указывает на высокопроизводительную модель с высоким TPR и низким FPR.
• Диагональная линия: кривая вдоль диагональной линии (от (0,0) до (1,1)) указывает на модель без способности к распознаванию, что эквивалентно случайному угадыванию.

2. Интерпретация значения AUC

• 0,9 – 1,0: Отличная способность различения.
• 0,8 – 0,9: Хорошая дискриминационная способность.
• 0,7–0,8: Хорошая способность к дискриминации.
• 0,6 – 0,7: Плохая способность различения.
• 0,5–0,6: Не удалось, модель работает хуже, чем случайное угадывание.

Как использовать кривую AUC-ROC для многоклассовой модели

Мы можем использовать методологию «Один против ВСЕХ» для построения N количества кривых AUC ROC для N числовых классов при использовании многоклассовой модели. Один против ВСЕХ дает нам возможность использовать бинарную классификацию. Если у вас есть проблема классификации с N возможными решениями, One vs. ALL предоставляет нам один двоичный классификатор для каждого возможного результата.

Например, у вас есть три класса с именами 0, 1 и 2. У вас будет один ROC для 0, классифицированный по 1 и 2, другой ROC для 1, который классифицируется по 0 и 2, и, наконец, третий. из 2 классифицировано против 0 и 1.

Нам следует воспользоваться моментом и объяснить методологию «Один против ВСЕХ», чтобы лучше ответить на вопрос «что такое кривая ROC?». Эта методология состоит из N отдельных двоичных классификаторов. Во время обучения модель проходит через последовательность двоичных классификаторов, обучая каждого отвечать на классификационный вопрос. Например, если у вас есть изображение кошки, вы можете обучить четыре разных распознавателя: один воспринимает изображение как положительный пример (кошка), а три других видят отрицательный пример (не кошка). Это будет выглядеть так:

• Это брюква? Нет
• Это изображение кота? Да
• Это изображение собаки? Нет
• Это изображение молотка? Нет

Эта методология хорошо работает с небольшим количеством классов. Однако по мере увеличения количества классов модель становится все более неэффективной.

Ускорьте свою карьеру в области искусственного интеллекта и машинного обучения с помощью курсов по искусственному интеллекту и машинному обучению Университета Пердью, организованных совместно с IBM.

Вы заинтересованы в карьере в области машинного обучения?

О машинном обучении можно многому научиться, как вы можете понять из этой статьи «что такое ROC-кривая»! Однако и машинное обучение, и искусственный интеллект — это волны будущего, поэтому стоит приобретать навыки и знания в этих областях. Кто знает? Вы можете найти себя в захватывающей карьере в области машинного обучения!

Если вы хотите построить карьеру в области машинного обучения, Simplilearn может помочь вам на этом пути. Сертификация AI and ML предлагает студентам углубленный обзор тем машинного обучения. Вы научитесь разрабатывать алгоритмы с использованием контролируемого и неконтролируемого обучения, работать с данными в реальном времени и узнаете о таких концепциях, как регрессия, классификация и моделирование временных рядов. Вы также узнаете, как можно использовать Python для построения прогнозов на основе данных. Кроме того, программа включает 58 часов прикладного обучения, интерактивные лабораторные работы, четыре практических проекта и наставничество.

А поскольку машинное обучение и искусственный интеллект так часто работают вместе, ознакомьтесь с магистерской программой Simplilearn «Инженер по искусственному интеллекту» и охватите все аспекты.

В соответствии с Стеклянная дверьИнженеры по машинному обучению в Соединенных Штатах получают среднюю годовую базовую заработную плату в размере 133 001 долл. США. По данным Payscale.com, инженеры по машинному обучению в Индии могут потенциально зарабатывать в среднем 732 566 рупий в год.

Посетите Simplilearn сегодня и откройте для себя богатые возможности увлекательной профессии в области машинного обучения!

Часто задаваемые вопросы

1. Как выглядит идеальная кривая AUC-ROC?

Идеальная кривая AUC-ROC достигает верхнего левого угла графика, указывая на True Positive Rate (TPR) 1 и False Positive Rate (FPR) 0 для некоторого порога. Это означает, что модель идеально различает положительные и отрицательные классы, что приводит к значению AUC 1,0.

2. Что означает значение AUC 0,5?

Значение AUC 0,5 означает, что производительность модели не лучше случайного угадывания. Это означает, что модель не может различать положительные и отрицательные классы, поскольку True Positive Rate (TPR) и False Positive Rate (FPR) одинаковы для всех порогов.

3. Как сравнивать ROC-кривые разных моделей?

Чтобы сравнить кривые ROC разных моделей, нанесите кривую ROC каждой модели на один и тот же график и изучите их формы и положения. Модель с кривой ROC, наиболее близкой к верхнему левому углу, и с самым высоким значением площади под кривой (AUC) обычно работает лучше.

4. Каковы некоторые ограничения кривой ROC?

Некоторые ограничения ROC-кривой включают в себя:

• Это может быть менее информативно для сильно несбалансированных наборов данных, поскольку истинно отрицательный показатель (специфичность) может доминировать на кривой.
• Он не учитывает стоимость ложноположительных и ложноотрицательных результатов, что может иметь решающее значение в некоторых приложениях.
• В определенных контекстах интерпретация может быть менее интуитивной по сравнению с кривыми точности-воспоминания.

5. Какие общие показатели получаются на основе ROC-кривых?

К распространенным показателям, полученным из кривых ROC, относятся:

• Доля истинно положительных результатов (TPR): также известный как чувствительность или отзыв, он измеряет долю правильно идентифицированных фактических положительных результатов.
• Доля ложноположительных результатов (FPR): измеряет долю фактически отрицательных результатов, ошибочно идентифицированных как положительные.
• Площадь под кривой (AUC): суммирует общую производительность модели по всем пороговым значениям.
• Оптимальный порог: пороговое значение максимизирует TPR и минимизирует FPR.