Что такое поиск информации (IR) в машинном обучении?

Поиск информации определяется как полностью автоматизированная процедура, которая отвечает на запрос пользователя, просматривая группу документов и создавая отсортированный список документов, который должен соответствовать критериям запроса пользователя. В результате представляет собой совокупность алгоритмов, повышающих релевантность представленных материалов поисковым запросам. Другими словами, он сортирует и ранжирует контент в соответствии с запросом пользователя. Запрос и содержимое документа согласованы, что обеспечивает доступность документа.

Ваша карьера в области искусственного интеллекта и машинного обучения уже не за горами! Магистерская программа AI EngineerИзучите программу

Что такое модель поиска информации?

Модель поиска (IR) выбирает и ранжирует релевантные страницы на основе запроса пользователя. Выбор и ранжирование документов можно формализовать с помощью функций сопоставления, которые возвращают значения статуса поиска (RSV) для каждого документа в коллекции, поскольку документы и запросы пишутся одинаково. Большинство IR-систем отображают содержимое документа, используя набор дескрипторов, известных как слова из словаря V.

Функция сопоставления запроса и документа в модели IR определяется следующим образом:

• Оценка вероятности релевантности пользователю каждой страницы и запроса относительно набора q учебных документов.
• В векторном пространстве вычисляется функция сходства между запросами и документами.

Типы моделей поиска информации

Классическая ИК-модель

Это самая простая и простая ИК-модель. Эта парадигма основана на математической информации, которую легко распознать и понять. Тремя традиционными моделями IR являются булевская, векторная и вероятностная.

Неклассическая ИК-модель

Это диаметрально противоположно традиционной модели IR. Помимо вероятности, сходства и логических операций, такие модели IR основаны на других идеях. Неклассические модели IR включают модели теории ситуаций, модели информационной логики и модели взаимодействия.

Альтернативная ИК-модель

Это улучшение традиционной модели IR, в котором используются некоторые уникальные подходы из других областей. Альтернативные модели IR включают нечеткие модели, кластерные модели и модели скрытого семантического индексирования (LSI).

Классическая задача информационно-поисковой системы (ИР)

Специальный поиск — это классическая проблема в системе информационного поиска. Задачи специального поиска — это своего рода классическая задача в парадигме поиска информации, в которой для получения соответствующей информации представляется запрос на естественном языке.

После того, как запрос возвращен, информация, которая не удовлетворяет нашим критериям поиска, становится специальной трудностью поиска. Например, предположим, что мы ищем что-то в Интернете, и он возвращает несколько конкретных сайтов, релевантных нашему поиску, но могут также быть и некоторые нерелевантные результаты. Это связано с проблемой специального поиска.

Компоненты информационного поиска / IR-модели

Приобретение

Документы и другие вещи выбираются с разных сайтов.

1. Документы, которые в основном состоят из текста или целых текстов, заголовков, рефератов.
2. Другие объекты, основанные на исследованиях, такие как данные, статистика, фотографии, карты, авторские права, звуковые ландшафты и т. д.
3. Веб-сканеры собирают данные и сохраняют их в базе данных.

Представление

Представление информационно-поисковой системы в основном предполагает индексирование:

• Индексирование может осуществляться различными методами, включая свободные текстовые ключевые слова (даже в целых текстах), регламентированный словарь – тезаурус, ручные и автоматические процедуры.
• Подведение итогов и абстрагирование
• Библиографическая информация: автор, название, источники, дата и т. д.
• Информация о метаданных
• Классификация и кластеризация
• Организация полей и пределов
• Базовый индекс, дополнительные лимиты индекса

Организация файлов

В основном существует две категории организации файлов: последовательная и инвертированная. Смесь этих двух является комбинацией.

Он организует документы на основе данных документа.

Он предоставляет список записей по каждой фразе, термин за термином.

Синтез инвертированных индексов, а также последовательных документов.

Когда извлекаются только цитаты, файлы документов не требуются. Это приводит к подходам к большим файлам и повышению эффективности компьютерного поиска.

Запрос

Когда пользователь вводит запрос в систему, начинается процесс IR. Запросы, такие как строки поиска в поисковых системах, являются явным представлением информационных запросов. Запрос в информационно-поисковой системе не идентифицирует однозначно конкретный объект в коллекции. Вместо этого запросу может соответствовать множество вещей, возможно, с разной степенью значимости.

Ваша карьера в области искусственного интеллекта и машинного обучения уже не за горами! Магистерская программа AI EngineerИзучите программу

Важность информационно-поисковой системы

По мере роста вычислительной мощности и снижения стоимости хранения количество данных, с которыми мы имеем дело ежедневно, значительно возрастает. Однако без механизма получения и запроса данных информация, которую мы собираем, бесполезна. Система поиска информации имеет решающее значение для понимания данных. Подумайте, насколько сложно было бы находить информацию в Интернете без Google или других поисковых систем. Без методов поиска информации информация не является знанием.

Системы индексирования и поиска текста могут индексировать данные в этих хранилищах данных и позволять пользователям осуществлять поиск по ним. Таким образом, поисковые системы предоставляют пользователям онлайн-доступ к информации, о которой они могут не знать, и от них не требуется знать или заботиться о том, где хранится эта информация. Пользователи могут запрашивать всю информацию, которую администратор решил проиндексировать, с помощью одного поиска.

Разница между поиском информации и поиском данных

Поиск данных (система управления базами данных или СУБД) работает со структурированными данными с четко определенной семантикой, тогда как IR имеет дело с неструктурированными/полуструктурированными данными. При запросе к системе СУБД она возвращает точные/точные результаты или не возвращает никаких результатов, если точное совпадение не обнаружено. Напротив, запрос к системе IR дает несколько результатов с ранжированием. Небольшие сбои в системе поиска информации, скорее всего, останутся незамеченными, но один объект ошибки означает полный сбой в поиске данных.

Взаимодействие пользователя с информационно-поисковой системой

Пользовательская задача

Все начинается с того, что пользователь преобразует информацию в запрос. В системе поиска информации набор слов используется для передачи семантики запрашиваемой информации, тогда как в системе поиска данных фраза запроса используется для передачи ограничений, которым удовлетворяют объекты. Например, предположим, что человек намеревается что-то искать, но в конечном итоге ищет что-то другое. Это указывает на то, что человек занимается серфингом, а не поиском. На рисунке выше показано участие пользователя в выполнении нескольких задач.

Логическое представление документов

Раньше документы характеризовались набором индексных терминов или ключевых слов. В настоящее время новые компьютеры отображают документы, используя целый набор слов, сокращая количество репрезентативных ключевых слов. Этого можно добиться, удалив стоп-слова, такие как артикли и связки. Текстовые операции такие, какие они есть. Эти текстовые операции уменьшают сложность представления документа: от полного текста до набора индексных терминов.

Прошлое, настоящее и будущее информационного поиска

Человек организует знания для поиска и использования уже почти 4000 лет. Типичным примером является оглавление книги. Поскольку объем информации превысил несколько томов, возникла необходимость создания специализированных структур данных, обеспечивающих более быстрый доступ к хранимым данным.

Индекс — это древняя и популярная структура данных для более быстрого поиска информации. Это набор избранных слов или понятий с соответствующими указателями на соответствующую информацию (или документы). Индексы в той или иной форме лежат в основе каждой современной системы поиска информации. Они обеспечивают более быстрый доступ к данным и позволяют ускорить операцию обработки запросов.

На протяжении тысячелетий индексы создавались вручную в виде классификационных иерархий. Совсем недавно развитие мощных компьютеров позволило автоматически составлять огромные индексы. Автоматические индексы предлагают взгляд на проблему поиска, который значительно больше привязан к системе, чем к требованиям пользователя.

Библиотеки были одними из первых учреждений, внедривших технологии поиска информации. В своем первоначальном поколении такие системы по существу представляли собой автоматизацию существующих технологий (таких как карточные каталоги) и позволяли осуществлять поиск по имени и названию автора. Во второе поколение были включены расширенные возможности поиска, которые позволяли осуществлять поиск по заголовкам тем, ключевым словам и некоторым более сложным средствам запроса.

В третьей версии, которая сейчас используется, упор делается на улучшенные графические интерфейсы, электронные формы, функциональность гипертекста и дизайн открытой системы. Благодаря усовершенствованиям современных компьютерных технологий и развитию Интернета произошло несколько значительных и фундаментальных изменений.

Во-первых, доступ к многочисленным источникам информации стал значительно дешевле. Это позволяет охватить более широкую аудиторию, чем это было возможно ранее. Во-вторых, достижения во всех формах цифровой связи увеличили доступ к сети. Это говорит о том, что источник информации доступен, даже если он расположен в удаленном месте, и что доступ осуществляется быстро. В-третьих, свобода загружать любую информацию, которую человек считает ценной, в значительной степени способствовала привлекательности Интернета.

Заключение

Поиск информации действительно полезен для понимания смысла знаний в современном мире. Если вы хотите освоить эти концепции, вам необходимо записаться на нашу программу последипломного образования Калифорнийского технологического института в области искусственного интеллекта и машинного обучения, которая поможет вам начать работу в престижном мире искусственного интеллекта и машинного обучения.

Эта программа была разработана, чтобы помочь вам охватить основные темы машинного обучения и искусственного интеллекта и помочь вам начать свою карьеру с нуля. Программа, опираясь на примеры из реальной жизни, охватывает реальные применения тем, которые вы изучаете. Начни свою карьеру сегодня!

Ваша карьера в области искусственного интеллекта и машинного обучения уже не за горами! Магистерская программа AI EngineerИзучите программу

Часто задаваемые вопросы

1. Что подразумевается под информацией?

Определение информации – это полученные или предоставленные новости или знания. То, что предоставляется тому, кто спрашивает о чем-то, является примером информации.

2. Что такое поиск информации в ИИ?

Информационный поиск (IR) — это программа, которая используется для организации, хранения и даже извлечения разнообразной информации из различных хранилищ документов, особенно текстовой информации.

3. Что такое, например, поиск информации?

Действие по получению контента, который обычно может быть задокументирован в неструктурированном виде, т.е. в основном текста, удовлетворяющего информационный спрос из огромных коллекций, хранящихся на компьютерах, известно как поиск информации. Например, когда пользователь отправляет запрос в систему, это пример поиска информации.

4. Что такое информационный поиск в НЛП?

Процесс получения наиболее актуальной информации просто из любого типа текста, основанного на конкретном запросе, предоставленном пользователем, с использованием контекстной индексации, которая представляет собой просто метаданные, называется поиском информации.

5. Для чего используется поиск информации?

Предмет информатики, известный как поиск информации (IR), занимается обработкой документов, содержащих произвольный текст, с целью их быстрого поиска на основе ключевых слов, указанных в запросе пользователя.

6. Какова важность поиска информации?

Действие по сбору информационных ресурсов, соответствующих информационному спросу из набора информационных ресурсов, известно как поиск информации. Это одна из наиболее важных ролей библиотеки, поскольку она удовлетворяет потребность пользователя в информации.