Обнаружение аномалий в машинном обучении: методы и преимущества

Одним из наиболее распространенных применений машинного обучения является обнаружение аномалий. Обнаружение и выявление выбросов помогает предотвратить мошенничество, злоумышленные атаки и сетевые вторжения, которые могут поставить под угрозу будущее вашей компании.

В этом посте мы обсудим, как работает обнаружение аномалий, какие методы машинного обучения можно для этого использовать, а также преимущества обнаружения аномалий с помощью ML для бизнеса.

Что такое аномалия?

Прежде чем мы обсудим, что такое обнаружение аномалий, мы должны сначала дать определение аномалии. В общем, аномалия – это нечто, отклоняющееся от нормы: отклонение, исключение. В разработке программного обеспечения аномалия — это редкое явление или событие, которое не вписывается в закономерность и поэтому выглядит подозрительно. Вот некоторые примеры:

• внезапный всплеск или снижение активности;
• ошибка в тексте;
• внезапная резкая слабость или повышение температуры.

Соmmоn reаsоns fоr оutliers аre:

• dаtа рreрrосessing errоrs;
• шум;
• мошенничество;
• прикреплять.

Обычно вам хочется перебить их всех; программа должна работать бесперебойно и надежно, поэтому каждое отклонение представляет риск для ее надежности и безопасности. Обнаружение аномалий или выбросов — это процесс выявления и выявления аномалий.

Например, если вы тратите большие суммы денег подряд в один и тот же день, и это не ваша обычная практика, ваш банк может заблокировать вашу карту. Они заметят необычную закономерность в ваших повседневных операциях. Эта аномалия обычно связана с мошенничеством, поскольку похитители личных данных пытаются украсть как можно больше денег, пока они могут. Как только аномалия обнаружена, ее необходимо расследовать, иначе возникнут проблемы.

Обнаружение аномалий в машинном обучении

Обнаружение аномалий, также называемое обнаружением выбросов, является важнейшим элементом анализа данных в рамках машинного обучения, направленным на выявление шаблонов данных, которые отклоняются от нормы. Эти отклонения, часто называемые аномалиями, выбросами или исключениями, играют жизненно важную роль в различных приложениях, включая обнаружение мошенничества, сетевую безопасность, обнаружение неисправностей и мониторинг состояния систем.

1. Понимание аномалий

Аномалии могут возникать в различных формах и контекстах:

• Точечные аномалии. Один экземпляр данных считается аномальным, если он находится слишком далеко от остальных. Например, крупная транзакция по кредитной карте, которая в противном случае постоянно используется для мелких покупок.
• Контекстуальные аномалии. Это аномалии, которые зависят от контекста, в котором они происходят. Например, использование отопления летом может считаться аномальным, если лето обычно жаркое.
• Коллективные аномалии: совокупность точек данных, аномальных для всего набора данных. Примером могут быть неожиданные закономерности в трафике сервера, которые могут указывать на кибератаку.

2. Методы обнаружения аномалий

Методы обнаружения аномалий в целом делятся на контролируемые, неконтролируемые и полуконтролируемые методы:

• Контролируемое обнаружение аномалий: для этого метода требуется помеченный набор данных, содержащий как нормальные, так и аномальные образцы. Он включает в себя обучение классификатора (например, деревьев решений, нейронных сетей) для изучения различий между аномалиями и типичными случаями.
• Неконтролируемое обнаружение аномалий. Большинство усилий по обнаружению аномалий подпадают под эту категорию, поскольку иметь идеально размеченный набор данных для аномалий часто непрактично. Такие методы, как кластеризация (K-средние, DBSCAN) и изоляционные леса, используются для обнаружения выбросов на основе предположения, что аномалий мало и они отличаются от нормальной группы.
• Полуконтролируемое обнаружение аномалий. Этот подход основан на изучении того, как выглядят средние данные из набора данных, где все экземпляры помечены как нормальные. Любое отклонение от этого определения во время тестирования считается аномалией. Одним из распространенных методов является использование архитектур нейронных сетей, таких как автокодировщики.

3. Применение обнаружения аномалий

• Обнаружение мошенничества. Компании, выпускающие кредитные карты, используют обнаружение аномалий для выявления мошеннических транзакций, которые отклоняются от структуры расходов пользователя.
• Мониторинг здравоохранения. Алгоритмы обнаружения аномалий могут помочь отслеживать состояние здоровья пациентов и прогнозировать критические события до того, как они произойдут.
• Предотвращение промышленных повреждений. На производстве датчики могут обнаруживать аномалии в работе оборудования, чтобы предотвратить повреждения и продлить срок службы оборудования.
• Кибербезопасность. Обнаружение аномалий имеет решающее значение для выявления подозрительных действий, которые могут указывать на нарушение безопасности или кибератаки.

4. Проблемы обнаружения аномалий

Несмотря на свою важность, обнаружение аномалий сопряжено с рядом проблем:

• Высокий уровень ложных тревог. Отличить шум от истинных аномалий может быть сложно, что приводит к высокому уровню ложных тревог.
• Динамические данные. Во многих областях определение нормального поведения может со временем меняться, что усложняет процесс обнаружения.
• Несбалансированные данные. Аномалии по определению редки, что затрудняет точное выявление аномальных случаев моделям, обученным преимущественно на средних данных.

5. Будущие направления

Область обнаружения аномалий развивается вместе с достижениями в области машинного обучения и искусственного интеллекта. Например, интеграция методов глубокого обучения предлагает многообещающие улучшения в возможностях обнаружения, особенно в сложных наборах данных с высокой размерностью. Более того, растущая тенденция к использованию технологий больших данных и устройств Интернета вещей, вероятно, увеличит потребность в более надежных и масштабируемых системах обнаружения аномалий.

Виды аномалий

Теперь давайте посмотрим, с какими аномалиями или отклонениями обычно приходится сталкиваться инженерам машинного обучения.

Глобальные выбросы

А glоbаl аnоmаly оссurs when а dаtа роint аssumes а vаlue thаt is fаr оutside аll оf the оther dаtа роint vаlue rаnges in the dаtаset. In оther wоrds, it’s а оnсe-in-а-lifetime оссurrenсe.

Fоr exаmрle, if yоu reсeive аn аverаge Аmeriсаn sаlаry intо yоur bаnk ассоunt eасh mоnth but оne dаy reсeive а milliоn dоllаrs, the bаnk’s аnаlytiсs teаm wоuld соnsider this а glоbаl аnоmаly.

Соntextuаl Outliers

Когда выброс называется контекстуальным, это означает, что его значение отличается от того, что мы ожидали бы увидеть для аналогичной точки данных в том же контексте. Контексты, как правило, временны, и одна и та же ситуация, наблюдаемая в разное время, не может считаться выбросом.

Например, для магазинов вполне нормально наблюдать увеличение числа покупателей в период праздников. Однако если внезапное увеличение происходит вне праздников или распродаж, это можно рассматривать как текстовый выброс.

Коллективные выбросы

А subset оf dаtа роints thаt deviаte frоm nоrmаl behаviоur is used tо reрresent соlleсtive оutliers. In generаl, teсhnоlоgy firms соntinue tо exраnd. Sоme businesses mаy fаil, but this is nоt а generаl trend. Hоwever, if а lаrge number оf соmраnies exрerienсe а drор in revenue аt the sаme time, we саn identify а соlleсtive оutlier.

Методы обнаружения аномалий

Методы обнаружения аномалий в машинном обучении имеют решающее значение для выявления точек данных, которые значительно отклоняются от нормы. Эти методы применяются в различных областях, таких как обнаружение мошенничества, сетевая безопасность и мониторинг работоспособности системы. Вот обзор некоторых основных методов, используемых при обнаружении аномалий:

1. Статистические методы

Статистические методы являются одними из старейших методов, используемых для обнаружения аномалий. Они предполагают, что нормальные точки данных следуют определенному статистическому распределению. Любая точка данных, которая значительно отклоняется от этого распределения, считается аномалией. Общие статистические методы включают:

• Z-показатель: измеряет количество стандартных отклонений точки данных от среднего значения. Точки с высоким абсолютным Z-показателем являются потенциальными выбросами.
• Тест Граббса: используется для обнаружения одного выброса в одномерном наборе данных, который соответствует примерно нормальному распределению.

2. Методы машинного обучения

Машинное обучение обеспечивает более гибкий подход к обнаружению аномалий посредством как контролируемого, так и неконтролируемого обучения:

• Контролируемое обнаружение аномалий: использование помеченных данных для обучения модели различению нормальных и аномальных случаев. Обычно используются такие методы, как логистическая регрессия, SVM и нейронные сети.
• Неконтролируемое обнаружение аномалий. Поскольку аномалии редки или неизвестны во время обучения, широко используются неконтролируемые методы. Они включают:
• Кластеризация: такие алгоритмы, как K-средние или DBSCAN, группируют схожие точки данных вместе. Аномалиями считаются точки, не принадлежащие ни одному кластеру.
• Изоляционный лес: этот алгоритм изолирует аномалии вместо профилирования нормальных точек данных. Он работает по принципу, что аномалий меньше и они различны, что облегчает их изолирование.
• SVM одного класса: он изучает границу принятия решений вокруг обычных точек данных. Любая новая точка данных, выходящая за пределы этой границы, считается аномалией.

3. Нейронные сети и глубокое обучение

Глубокое обучение предлагает мощные инструменты для обнаружения аномалий, особенно в сложных наборах данных:

• Автоэнкодеры: это нейронные сети, обученные реконструировать входные данные. Они учатся улавливать наиболее важные аспекты данных. Точки данных с высокими ошибками реконструкции, скорее всего, являются аномалиями во время обнаружения аномалий.
• Генеративно-состязательные сети (GAN): GAN можно использовать для моделирования нормального распределения данных. Любой новый экземпляр, который дискриминатор может легко классифицировать как фальшивый, может оказаться аномалией.

4. Уменьшение размерности

Для обнаружения аномалий также можно использовать методы уменьшения размерности, такие как PCA (анализ главных компонентов). Они уменьшают размерность данных, фиксируя основные компоненты. Затем аномалии можно обнаружить в пространстве более низких измерений, часто потому, что они имеют значительные отклонения от нормальных проекций.

5. Гибридные модели

Гибридные модели сочетают в себе несколько методов обнаружения аномалий для повышения точности и надежности. Например, можно использовать как кластеризацию для обнаружения локальных выбросов, так и изолирующий лес для обнаружения глобальных выбросов.

Проблемы и соображения

• Качество данных. Плохое качество данных может привести к множеству ложноположительных или ложноотрицательных результатов при обнаружении аномалий.
• Динамическое поведение. Во многих реальных приложениях поведение данных может меняться со временем (дрейф концепции), что требует динамической адаптации моделей.
• Масштабируемость. С увеличением объема данных масштабируемость метода обнаружения аномалий становится решающей.

С нетерпением жду успешной карьеры в области искусственного интеллекта и машинного обучения. Зарегистрируйтесь в нашей программе последипломного образования в области искусственного интеллекта и машинного обучения в сотрудничестве с Университетом Пердью прямо сейчас.

Зачем нужно машинное обучение для борьбы с аномалиями?

Этот процесс обычно выполняется с помощью статистики и инструментов машинного обучения. Причина этого в том, что большинство предприятий, которым сегодня требуется обнаружение выбросов, работают с огромными объемами данных: транзакциями, текстом, изображениями, видеоконтентом и так далее. Вам придется потратить дни на изучение всех переходов, которые происходят в банке каждый час, и каждую секунду создаются новые. Просто невозможно вручную извлечь значимую информацию из этого объема данных.

Другая проблема заключается в том, что данные часто неструктурированы, а это означает, что информация не была организована каким-либо особым образом для анализа данных. К неструктурированным данным относятся такие вещи, как деловые документы, электронные письма и изображения.

Чтобы собирать, очищать, структурировать, анализировать и хранить данные, вы должны использовать инструменты, которые не боятся больших объемов данных. На самом деле методы машинного обучения дают наилучшие результаты при работе с большими наборами данных. Большинство типов данных можно обрабатывать с помощью алгоритмов машинного обучения. Более того, вы можете выбрать алгоритм, основанный на вашей задаче, и даже комбинировать различные методы для достижения наилучших результатов.

Машинное обучение, используемое в реальных приложениях, помогает оптимизировать процесс обнаружения аномалий и экономить ресурсы. Это возможно не только после голодания, но и в реальном времени. Обнаружение аномалий в режиме реального времени используется для повышения безопасности и надежности в таких областях, как обнаружение мошенничества и кибербезопасность.

Проблемы обнаружения аномалий

Обнаружение аномалий в машинном обучении включает в себя выявление точек данных, событий или наблюдений, которые отклоняются от нормального поведения набора данных. Хотя это мощный инструмент в различных отраслях, реализация эффективных стратегий обнаружения аномалий сопряжена с рядом серьезных проблем:

1. Определение нормальности

Одной из основных задач при обнаружении аномалий является определение того, что представляет собой «нормальное» поведение. Во многих областях нормальность не определена четко, а граница между нормой и аномалией может быть очень тонкой или меняться со временем.

• Динамические данные. В таких областях, как финансы или веб-трафик, то, что считается нормальным, может измениться, что усложняет обнаружение аномалий.
• Высокая размерность. Многомерные данные затрудняют определение нормальных областей из-за проклятия размерности, когда точки данных разрежены и разбросаны.

2. Наличие этикетки

Обнаружение аномалий часто страдает из-за отсутствия размеченных данных, что имеет решающее значение для моделей обучения с учителем. Аномалии встречаются редко, что затрудняет получение репрезентативного набора образцов аномалий.

Неконтролируемые проблемы: в большинстве случаев обнаружение аномалий основано на неконтролируемых методах, которые могут с трудом отличить шум от истинных аномалий без меток, направляющих процесс обучения.

3. Шум и изменчивость

Отличить шум от реальных аномалий представляет собой серьезную проблему. В реальных данных шум часто может имитировать характеристики аномалий, что приводит к высокому уровню ложноположительных результатов.

Ложные срабатывания/негативы. Высокий уровень ложных срабатываний может привести к «усталости от оповещений», когда слишком большое количество ложных срабатываний снижает доверие к системе. И наоборот, ложноотрицательные результаты могут означать отсутствие критических аномалий.

4. Адаптивность

Многие системы обнаружения аномалий с трудом адаптируются к новым аномалиям или изменениям в процессе генерации данных. Эта проблема известна как дрейф концепции.

Смещение концепции: по мере изменения основного распределения данных ранее обученные модели могут перестать работать адекватно без переобучения или точной настройки.

5. Масштабируемость

Объем данных во многих приложениях огромен и постоянно растет, что делает масштабируемость критически важным требованием для систем обнаружения аномалий.

Большие данные. Обработка больших объемов данных в режиме реального времени требует высокоэффективных алгоритмов, которые могут горизонтально масштабироваться на современных архитектурах.

6. Интерпретируемость

Интерпретация результатов систем обнаружения аномалий, особенно тех, которые используют сложные модели, такие как глубокие нейронные сети, может оказаться сложной задачей. Пользователи должны понимать, почему определенные точки считаются аномалиями, чтобы предпринять соответствующие действия.

Модели «черного ящика». Модели, которые не дают достаточного понимания процесса принятия решений, могут препятствовать доверию и применимости в таких важных приложениях, как здравоохранение или финансы.

7. Проблемы, специфичные для предметной области

Каждая область приложения может иметь уникальные проблемы, требующие индивидуальных решений по обнаружению аномалий.

Требования, специфичные для отрасли. Например, в сфере кибербезопасности аномалии представляют собой враждебные угрозы, которые активно пытаются замаскироваться под нормальные ситуации, тогда как в здравоохранении аномалии могут представлять собой редкие заболевания с опасными для жизни последствиями.

Для чего используется обнаружение аномалий?

Теперь давайте посмотрим, как обнаружение аномалий можно использовать на практике.

Обнаружение вторжений

Кибербезопасность имеет решающее значение для многих предприятий, которые имеют дело с конфиденциальной информацией, интеллектуальной собственностью и личной информацией своих сотрудников и клиентов. Системы обнаружения вторжений отслеживают сеть на наличие потенциально вредоносного трафика и сообщают о нем. Если обнаруживается подозрительная активность, программное обеспечение IDS предупреждает команду. Программное обеспечение Cisco Systems и McAfee — два примера.

Отвращение к мошенничеству

Обнаружение мошенничества с помощью машинного обучения помогает предотвратить незаконное получение денег или имущества. Банки, кредитные союзы и страховые компании используют программное обеспечение для обнаружения мошенничества. Банки, например, рассматривают заявки на кредит, прежде чем принять решение. Если система обнаружит, что некоторые документы являются поддельными, например, ваш налоговый номер не существует в системе, она уведомит об этом работодателя банка.

Мониторинг здоровья

Системы обнаружения аномалий чрезвычайно полезны в области медицины. Они помогают врачам диагностировать пациентов, обнаруживая необычные закономерности на МРТ и результатах анализов. Обычно здесь используются нейронные сети, обученные на тысячах примеров, и они порой могут дать более точный диагноз, чем врачи с 20-летним стажем.

Отвращение

Производители могут столкнуться с исками на миллионы долларов, если предоставят своим клиентам защитные механизмы или детали механизмов. Одна-единственная деталь, не соответствующая производственным стандартам и использующая полосу движения, убивает сотни людей.

Системы обнаружения аномалий, основанные на компьютерном зрении, могут обнаружить дефект детали, даже если на конвейерной линии имеются тысячи других подобных деталей. Системы обнаружения аномалий также могут быть связаны с механизмами, которые контролируют внутренние системы, такие как температура двигателя, уровень топлива и другие параметры.

Вы энтузиаст искусственного интеллекта и машинного обучения? Если да, то курс искусственного интеллекта и машинного обучения идеально подходит для вашего карьерного роста.

Станьте экспертом в обнаружении аномалий уже сегодня!

Обнаружение аномалий — это процесс выявления точек данных в данных, которые не соответствуют выраженным шаблонам. Его можно использовать для решения самых разных задач, включая обнаружение мошенничества, медицинскую диагностику и так далее. Методы машинного обучения позволяют автоматизировать и улучшить обнаружение аномалий, особенно когда задействованы большие наборы данных. LOF, автокодировщики и байесовские сети — одни из наиболее распространенных методов машинного обучения, используемых при обнаружении аномалий. Зарегистрируйтесь в программах RG AI и ML Simrlilearn, чтобы узнать об обнаружении аномалий и других программах машинного обучения.

Часто задаваемые вопросы

1. Что представляет собой аномалия в данных?

Аномалия в данных относится к наблюдению или набору наблюдений, которые значительно отличаются от других наблюдений в наборе данных. Это неожиданные или необычные точки данных, которые не соответствуют типичному шаблону или ожидаемому поведению данных. Аномалии могут быть вызваны ошибками измерений, ошибками при вводе данных или подлинными выбросами, представляющими необычные события.

2. Как обнаружение аномалий предотвращает мошенничество?

Обнаружение аномалий предотвращает мошенничество, выявляя нерегулярные закономерности или необычные действия, которые отклоняются от нормального поведения. Эти аномалии могут указывать на мошенническую деятельность в таких контекстах, как финансовые транзакции или сетевой трафик. Отмечая такие отклонения, системы могут инициировать дальнейшее расследование или автоматически блокировать потенциально мошеннические действия, тем самым снижая риск и последствия мошенничества.

3. Как машинное обучение обрабатывает неструктурированные данные при обнаружении аномалий?

Машинное обучение обрабатывает неструктурированные данные при обнаружении аномалий, используя такие методы, как обработка естественного языка (NLP) для текста и сверточные нейронные сети (CNN) для изображений. Эти методы извлекают особенности и изучают закономерности из неструктурированных данных, позволяя выявлять аномалии на основе отклонений от изученных норм.

4. Может ли обнаружение аномалий выполняться в режиме реального времени?

Да, обнаружение аномалий может выполняться в режиме реального времени. Такие методы, как потоковый анализ данных и модели машинного обучения в реальном времени, обрабатывают и анализируют данные по мере их генерации. Это позволяет немедленно выявлять потенциальные аномалии и реагировать на них, что имеет решающее значение в таких приложениях, как обнаружение мошенничества, сетевая безопасность и мониторинг работоспособности системы.

5. Как алгоритмы машинного обучения обрабатывают структурированные и неструктурированные данные для обнаружения аномалий?

Алгоритмы машинного обучения обрабатывают структурированные данные, используя статистические методы и методы машинного обучения, такие как кластеризация, регрессия и классификация, для обнаружения выбросов. Для неструктурированных данных модели извлечения признаков и глубокого обучения используются для интерпретации и анализа таких данных, как текст, изображения или видео. В обоих случаях цель состоит в том, чтобы смоделировать нормальное поведение и пометить отклонения как аномалии.