Что такое автоэнкодеры? Введение в автоэнкодеры в глубоком обучении

Автоэнкодеры — это тип алгоритма глубокого обучения, который предназначен для получения входных данных и преобразования их в другое представление. Они играют важную роль в построении имиджа. Давайте узнаем об автоэнкодерах подробно.

Что такое автоэнкодеры?

Автоэнкодеры очень полезны в области машинного обучения без учителя. Их можно использовать для сжатия данных и уменьшения их размерности.

Основное различие между автоэнкодерами и анализом основных компонентов (PCA) заключается в том, что, хотя PCA находит направления, по которым вы можете проецировать данные с максимальной дисперсией, автоэнкодеры реконструируют исходные входные данные, используя только их сжатую версию.

Если кому-то нужны исходные данные, он может восстановить их из сжатых данных с помощью автокодировщика.

Архитектура

Автоэнкодер — это тип нейронной сети, которая может научиться восстанавливать изображения, текст и другие данные из их сжатых версий.

Автоэнкодер состоит из трех слоев:

1. Кодер
2. Код
3. Декодер

Уровень кодировщика сжимает входное изображение в представление скрытого пространства. Он кодирует входное изображение как сжатое представление в уменьшенном измерении.

Сжатое изображение представляет собой искаженную версию исходного изображения.

Уровень кода представляет собой сжатый входной сигнал, подаваемый на уровень декодера.

Уровень декодера декодирует закодированное изображение обратно в исходное измерение. Декодированное изображение восстанавливается из представления скрытого пространства, и оно восстанавливается из представления скрытого пространства и представляет собой реконструкцию исходного изображения с потерями.

Ваша карьера в области искусственного интеллекта и машинного обучения уже не за горами! Магистерская программа AI EngineerИзучите программу

Обучение автоэнкодеров

При создании автокодировщика следует помнить о нескольких вещах.

Во-первых, размер кода или узкого места является наиболее важным гиперпараметром для настройки автокодировщика. Он решает, какой объем данных необходимо сжать. Он также может действовать как термин регуляризации.

Во-вторых, важно помнить, что количество слоев имеет решающее значение при настройке автоэнкодеров. Более высокая глубина увеличивает сложность модели, но меньшая глубина ускоряет обработку.

В-третьих, вам следует обратить внимание на то, сколько узлов вы используете на каждом слое. Количество узлов уменьшается с каждым последующим слоем в автокодировщике, поскольку входные данные для каждого слоя становятся меньше на всех уровнях.

Наконец, стоит отметить, что есть две известные потери при реконструкции: потеря MSE и потеря L1.

Типы автоэнкодеров

В разделе «Полные автоэнкодеры»

Полные автокодировщики — это неконтролируемая нейронная сеть, которую можно использовать для генерации сжатой версии входных данных.

Это делается путем взятия изображения и попытки предсказать то же изображение, что и на выходе, таким образом восстанавливая изображение из сжатой узкой области.

Основное применение подобных автокодировщиков — создание скрытого пространства или узкого места, которое образует сжатую замену входных данных и при необходимости может быть легко распаковано обратно с помощью сети.

Разреженные автоэнкодеры

Разреженные автоэнкодеры управляются путем изменения количества узлов на каждом скрытом слое.

Поскольку невозможно спроектировать нейронную сеть с гибким количеством узлов на скрытых слоях, разреженные автокодировщики работают, наказывая активацию некоторых нейронов в скрытых слоях.

Это означает, что к функции потерь применяется штраф, прямо пропорциональный количеству активированных нейронов.

В качестве средства регуляризации нейронной сети функция разреженности предотвращает активацию большего количества нейронов.

Используются два типа регуляризаторов:

1. Метод L1 Loss — это общий регуляризатор, который мы можем использовать для добавления величины в модель.
2. Метод KL-дивергенции учитывает активации сразу по совокупности образцов, а не суммирует их, как в методе L1 Loss. Мы ограничиваем среднюю активацию каждого нейрона в этой коллекции.

Ваша карьера в области искусственного интеллекта и машинного обучения уже не за горами! Магистерская программа AI EngineerИзучите программу

Контрактивные автоэнкодеры

Входной сигнал проходит через узкое место в сжимающем автокодере, а затем восстанавливается в декодере. Функция узкого места используется для изучения представления изображения при его передаче.

Сжимающий автоэнкодер также имеет термин регуляризации, который не позволяет сети изучить идентификационную функцию и сопоставить входные данные с выходными.

Чтобы обучить модель, которая работает с этим ограничением, нам необходимо убедиться, что производные активаций скрытого слоя малы относительно входных данных.

Автоэнкодеры с шумоподавлением

Вы когда-нибудь хотели удалить шум с изображения, но не знали, с чего начать? Если да, то автоэнкодеры с шумоподавлением для вас!

Автокодировщики с шумоподавлением похожи на обычные автокодеры в том, что они принимают входные данные и выдают выходные данные. Однако они отличаются тем, что не используют входное изображение в качестве основной истины. Вместо этого они используют шумную версию.

Это связано с тем, что при работе с изображениями сложно удалить шум изображения.

Вам придется сделать это вручную. Но с помощью автокодировщика с шумоподавлением мы вводим идею шума в нашу сеть и позволяем ей отображать ее в многообразии меньшей размерности, где фильтрация шума становится гораздо более управляемой.

Функция потерь, обычно используемая в этих сетях, — это потери L2 или L1.

Вариационные автоэнкодеры

Вариационные автоэнкодеры (VAE) — это модели, которые решают конкретную проблему со стандартными автоэнкодерами. Когда вы обучаете автокодировщик, он учится представлять входные данные только в сжатой форме, называемой скрытым пространством или узким местом. Однако это скрытое пространство, образующееся после обучения, не обязательно является непрерывным и, по сути, его нелегко интерполировать.

Вариационные автоэнкодеры занимаются этой конкретной темой и выражают свои скрытые атрибуты в виде распределения вероятностей, образуя непрерывное скрытое пространство, которое можно легко выбирать и интерполировать.

Случаи использования

Автоэнкодеры имеют различные варианты использования, например:

• Обнаружение аномалий: автоэнкодеры могут выявлять аномалии данных, используя функцию потерь, которая снижает сложность модели. Это может быть полезно для обнаружения аномалий на финансовых рынках, где вы можете использовать его для выявления необычной активности и прогнозирования рыночных тенденций.
• Подавление шума изображения и звука: автокодировщики могут помочь очистить зашумленные изображения или аудиофайлы. Вы также можете использовать их для удаления шума из изображений или аудиозаписей.
• Закрашивание изображений: автоэнкодеры использовались для заполнения пробелов в изображениях, изучая, как восстанавливать недостающие пиксели на основе окружающих пикселей. Например, если вы пытаетесь восстановить старую фотографию, у которой отсутствует часть правой стороны, автоэнкодер может научиться заполнять недостающие детали на основе того, что он знает об остальной части фотографии.
• Поиск информации: автокодировщики могут использоваться в качестве систем поиска изображений на основе контента, которые позволяют пользователям искать изображения на основе их содержания.

Выберите правильную программу

Улучшите свою карьеру в области искусственного интеллекта и машинного обучения с помощью комплексных курсов Simplilearn. Получите навыки и знания, которые помогут преобразовать отрасли и раскрыть свой истинный потенциал. Зарегистрируйтесь сейчас и откройте безграничные возможности!

Заключение

Автоэнкодеры — мощный инструмент для сжатия и анализа данных. Их можно использовать для обнаружения скрытых закономерностей в ваших данных, а затем использовать эти закономерности для создания сжатого представления исходных данных. Это может быть полезно при работе с наборами данных, которые слишком велики для удобства, или когда вы хотите изучить распределение различных классов в ваших данных.

Если вы хотите узнать больше об алгоритмах глубокого обучения и начать свою карьеру в области искусственного интеллекта и машинного обучения, посетите программу последипломного образования Simplilearn в области искусственного интеллекта и машинного обучения. Эта программа поможет вам правильно начать работу с основами и практическими приложениями. Начните учиться прямо сейчас!

Наши ученики также задают вопросы

1. Для чего используются автоэнкодеры?

Используя автокодировщик, вы можете сжимать входные данные, кодировать их, а затем восстанавливать данные в другом формате, чтобы уменьшить размерность. Автоэнкодеры помогают вам сосредоточиться только на наиболее важных областях ваших данных.

2. Как работают автоэнкодеры?

Автоэнкодеры — это нейронные сети, которые можно использовать для сжатия и восстановления данных. Кодер сжимает входные данные, а декодер пытается воссоздать информацию из этой сжатой версии.

3. Является ли автоэнкодер CNN?

Сверточные автоэнкодеры — это автокодеры, которые используют CNN в своих частях кодера/декодера. Термин «сверточный» относится к свертке изображения с помощью фильтра для извлечения информации, что происходит в CNN.

4. Является ли автоэнкодер контролируемым или неконтролируемым?

Автоэнкодеры можно использовать для изучения сжатого представления ввода. Автоэнкодеры не контролируются, хотя они обучаются с использованием контролируемых методов обучения.

5. Когда не следует использовать автоэнкодеры?

Автоэнкодер может неправильно классифицировать ошибки ввода, которые отличаются от ошибок в обучающем наборе, или изменения в базовых отношениях, которые мог бы заметить человек. Еще одним недостатком является то, что вы можете исключить важную информацию из входных данных.