Рекурсивная нейронная сеть в глубоком обучении: введение

Рекурсивные нейронные сети (RvNN) — это глубокие нейронные сети, используемые для обработки естественного языка. Мы получаем рекурсивную нейронную сеть, когда одни и те же веса рекурсивно применяются к структурированным входным данным для получения структурированного прогноза. Руководители бизнеса и специалисты в области технологий должны понимать, что такое рекурсивная нейронная сеть, на что она способна и как она работает.

Что такое рекурсивная нейронная сеть?

Глубокое обучение — это область машинного обучения и искусственного интеллекта (ИИ), которая пытается имитировать то, как человеческий мозг обрабатывает данные, и получает определенные знания. Нейронные сети составляют основу глубокого обучения. Они в общих чертах смоделированы по образцу человеческого мозга и предназначены для точного распознавания основных закономерностей в наборе данных. Если вы хотите предсказать непредсказуемое, глубокое обучение — это решение.

Рекурсивные нейронные сети (RvNN) — это класс глубоких нейронных сетей, которые могут изучать подробную и структурированную информацию. С помощью RvNN вы можете получить структурированный прогноз, рекурсивно применяя один и тот же набор весов к структурированным входным данным. Слово «рекурсивный» указывает на то, что нейронная сеть применяется к ее выходным данным.

Благодаря своей глубокой древовидной структуре рекурсивные нейронные сети могут обрабатывать иерархические данные. Древовидная структура означает объединение дочерних узлов и создание родительских узлов. Каждая детско-родительская связь имеет матрицу весов, и аналогичные дети имеют одинаковые веса. Количество дочерних узлов для каждого узла в дереве фиксировано, чтобы он мог выполнять рекурсивные операции и использовать одинаковые веса. RvNN используются, когда необходимо проанализировать целое предложение.

Чтобы вычислить представление родительского узла, мы добавляем произведения весовых матриц (W_i) и дочерних представлений (C_i) и применяем преобразование f:

\(h = f \left( \sum_{i=1}^{i=c} W_i C_i \right) \), где c — количество детей.

Рекуррентная нейронная сеть против рекурсивных нейронных сетей

• Рекуррентные нейронные сети (RNN) — еще один хорошо известный класс нейронных сетей, используемых для обработки последовательных данных. Они тесно связаны с рекурсивной нейронной сетью.

• Рекуррентные нейронные сети представляют собой временные последовательности, которые они находят применение в обработке естественного языка (NLP), поскольку данные, связанные с языком, такие как предложения и абзацы, являются последовательными по своей природе. Рекуррентные сети обычно представляют собой цепные структуры. Вес распределяется по всей длине цепочки, сохраняя размерность постоянной.
• С другой стороны, рекурсивные нейронные сети работают с иерархическими моделями данных из-за их древовидной структуры. Для каждого узла в дереве существует фиксированное количество дочерних элементов, поэтому он может выполнять рекурсивные операции и использовать одни и те же веса для каждого шага. Дочерние представления объединяются в родительские представления.
• Эффективность рекурсивной сети выше, чем сети с прямой связью.
• Рекуррентные сети повторяются во времени, то есть рекурсивные сети являются всего лишь обобщением рекуррентной сети.

Реализация рекурсивной нейронной сети

Рекурсивная нейронная сеть используется для анализа настроений в предложениях естественного языка. Это одна из наиболее важных задач обработки естественного языка (НЛП), которая определяет тон письма и чувства автора в конкретном предложении. Если писатель выражает какие-либо чувства, распознаются основные признаки тона письма. Мы хотим идентифицировать более мелкие компоненты, такие как существительные или глагольные фразы, и упорядочить их в синтаксической иерархии. Например, он определяет, демонстрирует ли предложение конструктивную форму написания или отрицательный выбор слов.

Переменная под названием «оценка» рассчитывается при каждом обходе узлов и сообщает нам, какую пару фраз и слов мы должны объединить, чтобы сформировать идеальное синтаксическое дерево для данного предложения.

Давайте рассмотрим представление фразы «очень весело» в следующем предложении.

Программирование — это очень весело.

Представление этой фразы в RNN не подходит, поскольку оно учитывает только последовательные отношения. Каждое состояние зависит от представления предыдущих слов. Таким образом, подпоследовательность, которая не встречается в начале предложения, не может быть представлена. При использовании RNN при обработке слова «весело» скрытое состояние будет представлять все предложение.

Однако с помощью рекурсивной нейронной сети (RvNN) иерархическая архитектура может хранить представление точной фразы. Оно лежит в скрытом состоянии узла R_{много\веселья}. Таким образом, синтаксический анализ полностью реализован с помощью рекурсивных нейронных сетей.

Преимущества RvNN для обработки естественного языка

• Двумя существенными преимуществами рекурсивных нейронных сетей для обработки естественного языка являются их структура и уменьшение глубины сети.
• Как уже объяснялось, древовидная структура рекурсивных нейронных сетей может управлять иерархическими данными, например, при задачах синтаксического анализа.
• Еще одним преимуществом RvNN является то, что деревья могут иметь логарифмическую высоту. При наличии входных слов O(n) рекурсивная нейронная сеть может представлять собой двоичное дерево высотой O(log\n). Это уменьшает расстояние между первым и последним входными элементами. Следовательно, долгосрочная зависимость становится короче, и ее легче ухватить.

Недостатки RvNN для обработки естественного языка

• Основным недостатком рекурсивных нейронных сетей может быть древовидная структура. Использование древовидной структуры указывает на внесение в нашу модель уникального индуктивного смещения. Смещение соответствует предположению, что данные следуют древовидной иерархической структуре. Но это неправда. Таким образом, сеть может быть не в состоянии изучить существующие шаблоны.
• Еще одним недостатком рекурсивной нейронной сети является то, что анализ предложений может быть медленным и неоднозначным. Интересно, что для одного предложения может быть много деревьев разбора.
• Кроме того, разметка обучающих данных для рекурсивных нейронных сетей требует больше времени и труда, чем построение рекуррентных нейронных сетей. Разбор предложения на короткие компоненты вручную занимает больше времени и утомляет, чем присвоение предложению метки.

Наши ученики также спрашивают:

1. Является ли CNN рекурсивным?

Новые модели CNN (сверточные нейронные сети) оснащены полностью рекурсивными сверточными слоями для быстрого и точного изображения. Этот подход быстрый и не требует дополнительных входных каналов, таких как нормаль поверхности.

2. В чем разница между CNN и RNN?

И CNN (сверточные нейронные сети), и RNN (рекуррентные нейронные сети) составляют основу для нескольких приложений искусственного интеллекта, которые повышают ценность бизнеса. CNN обычно применяется для анализа визуальных изображений. RNN, с другой стороны, представляет собой сеть, в которой соединенные узлы образуют ориентированный граф во временной последовательности.

CNN имеет архитектуру, отличную от RNN. Он использует нейронные сети с прямой оплатой, которые используют фильтры и слои пула, в то время как RNN имеют встроенную память, похожую на цикл, и канал RNN возвращается в сеть. CNN обычно используются для решения задач распознавания пространственных данных и изображений, тогда как RNN более склонны анализировать временные, последовательные данные, такие как язык, тексты или видео.

3. Является ли RNN более мощным, чем CNN?

CNN более мощный и быстрый и включает в себя меньше функций совместимости, чем RNN. В то время как CNN принимает входные данные фиксированного размера и выдает выходные данные фиксированного размера, RNN может обрабатывать произвольные длины входных/выходных данных.

4. Сколько типов нейронных сетей существует?

В глубоком обучении существует три важнейших типа нейронных сетей:

• Искусственные нейронные сети (ИНС)
• Сверточные нейронные сети (CNN)
• Рекуррентные нейронные сети (RNN)

Хотите ускорить свою карьеру в AL и ML? Присоединяйтесь к нашей программе последипломного образования Калифорнийского технологического института в области искусственного интеллекта и машинного обучения и получите доступ к более чем 25 отраслевым проектам, карьерному наставничеству и многому другому.

Выберите правильную программу

Улучшите свою карьеру в области искусственного интеллекта и машинного обучения с помощью комплексных курсов Simplilearn. Получите навыки и знания, которые помогут преобразовать отрасли и раскрыть свой истинный потенциал. Зарегистрируйтесь сейчас и откройте безграничные возможности!

Заключение

В этой статье были рассмотрены некоторые основы рекурсивных нейронных сетей и глубокого обучения. Знание алгоритмов машинного обучения и их типов может помочь вам увидеть четкую картину и понять, какой потенциал машинное обучение имеет в ближайшие годы.

Изучая алгоритмы машинного языка, вы сможете лучше понять вычислительную обработку наборов данных и извлекать из наборов данных более актуальную и ценную информацию. Если у вас есть несколько лет опыта работы в области компьютерных наук или вы заинтересованы в изучении машинного обучения, ознакомьтесь с программой последипломного образования Калифорнийского технологического института Simplilearn по искусственному интеллекту и машинному обучению и ускорьте свою карьеру.