Azure Stream Analytics: упрощенная обработка данных в реальном времени

Вы хотите извлечь ценную информацию из огромных потоков данных в реальном времени, поступающих из различных источников? Службы Azure предлагают идеальное решение. Azure Stream Analytics — это полностью управляемая служба аналитики в реальном времени, предназначенная для обработки и анализа больших объемов потоковых данных из нескольких входов. Этот мощный инструмент идеально подходит для организаций, ориентированных на данные, предоставляя ценную информацию в момент создания данных. Благодаря нулевой настройке инфраструктуры и модели оплаты по факту использования он обеспечивает бесшовное и экономически эффективное решение.

В этой статье мы рассмотрим, что такое Azure Stream Analytics, когда его использовать, его основные преимущества и ограничения, функции, как он работает и его распространенные приложения. Кроме того, мы поможем вам создать задание Stream Analytics на портале Azure.

Что такое Azure Stream Analytics?

Архитектура Azure Stream Analytics — это сложный механизм обработки событий в режиме реального времени, предназначенный для одновременной обработки и анализа больших объемов быстро передаваемых потоковых данных из разных источников.

Выявляются взаимосвязи и закономерности, а информация получается из источников входных данных, таких как датчики, устройства и приложения. Эти шаблоны запускают действия и способствуют рабочим процессам, таким как передача информации в любой инструмент отчетности, создание оповещений и сохранение преобразованных данных для дальнейшего использования.

Это полностью управляемый механизм, созданный Microsoft для аналитики в реальном времени. Он предоставляет возможность выполнять анализ в реальном времени различных потоков данных из нескольких источников, таких как веб-данные, датчики, социальные сети, источники и другие приложения. Итак, независимо от того, используете ли вы приложения IoT, анализ финансовых данных, мониторинг социальных сетей, обнаружение мошенничества или аналитику в реальном времени для повышения операционной эффективности, это приложение просто необходимо!

Когда использовать Azure Stream Analytics?

Если у вас есть входящие потоковые данные, о которых вы готовы сообщать с помощью Power BI, хранить или получать информацию путем их преобразования, тогда эта платформа предложит вам лучшие услуги. Это идеальное решение, если вам нужен полностью управляемый сервис, не беспокоясь о проблемах с настройкой инфраструктуры. Ниже приведены некоторые распространенные варианты использования Azure Stream Analytics.

• Хранение потоковых данных, чтобы сделать их доступными для других облачных служб для последующего составления отчетов, анализа или регистрации.
• Информационная панель в режиме реального времени для мониторинга с помощью Power BI
• Анализ и преобразование данных в режиме реального времени
• Запуск рабочих процессов при определенных условиях
• Пересылка оповещений
• Принятие решений в режиме реального времени
• Машинное обучение

Azure Stream Analytics используется, если входные данные представлены в формате JSON, AVRO или CSV, а логика приложения запрограммирована на любом языке запросов, например SQL.

Ключевые преимущества Azure Stream Analytics

Он известен своей высокой производительностью программистов, простотой использования, низкой совокупной стоимостью владения и полным управлением. Azure Stream Analytics предлагает следующие другие преимущества:

Производительность программиста:

Azure Stream Analytics использует язык запросов SQL с мощными временными ограничениями, что упрощает разработчикам анализ данных в движении. Он даже поддерживает несколько функций для агрегирования данных, манипулирования, анализа, обнаружения аномалий и сопоставления с образцом.

Простота использования:

Соединение различных приемников и источников, создание сквозного конвейера, требует всего лишь нескольких кликов. Эту службу можно беспрепятственно использовать с другими службами Azure, такими как база данных SQL, концентраторы событий и хранилище BLOB-объектов.

Полностью управляемый:

Azure Stream Analytics полностью управляем. Это означает, что вам не нужно беспокоиться о подготовке, инфраструктуре или оборудовании, обновлении программного обеспечения или ОС. Вы можете сосредоточиться только на своей бизнес-логике.

Низкая совокупная стоимость владения:

Облачный сервис обеспечивает оптимизацию затрат. Следовательно, вам нужно платить только за те единицы потоковой передачи, которые вы используете. Никакого кластера или обязательств не требуется; вы можете масштабировать функции вверх или вниз в зависимости от ваших требований.

Готовность к критически важным задачам:

Azure Stream Analytics предназначен для выполнения критически важных рабочих нагрузок за счет соблюдения требований безопасности, надежности и соответствия требованиям. Он даже гарантирует одну обработку событий и одну доставку событий, чтобы данные не были потеряны. С точки зрения безопасности все исходящие и входящие сообщения шифруются.

Ограничения Azure Stream Analytics

Некоторые ограничения, связанные с Azure Stream Analytics, следующие:

• Azure Stream Analytics поддерживает только SQL.
• Ваши входные данные должны быть в формате JSON, AVRO или CSV.
• Чтобы добавить статические данные, вы можете использовать только хранилище BLOB-объектов.
• Он не оснащен автоматическим масштабированием.
• Вам остается только интегрироваться со службами Azure.
• Вы не можете получить преимущество от поддержки динамического соединения справочных данных.

Ключевые возможности Azure Stream Analytics

Ключевые функции Azure Stream Analytics:

• Вы можете объединить данные, полученные из многочисленных потоков.
• Вы можете использовать декларативные запросы на основе SQL для преобразования данных.
• Передавайте данные с помощью Power BI на информационные панели в реальном времени.
• Интеграция с Azure IoT Hub
• Платите только за те единицы потоковой передачи, которые вы используете.
• Нет необходимости управлять какой-либо инфраструктурой
• Автоматически используйте преимущества параллельной записи нескольких разделов.
• Контролируйте свою работу визуально
• Изучите возможности восстановления
• Получите встроенные геопространственные функции
• Выполнение операций с данными во временных окнах, таких как скольжение, переворачивание, скачок и окна сеанса.

Как работает Azure Stream Analytics

Azure Stream Analytics работает следующим образом:

• Он включает в себя ввод, вывод и запрос.
• Он собирает данные из хранилища BLOB-объектов Azure, Центра Интернета вещей Azure или Центров событий Azure.
• Запрос основан на языке запросов SQL и может легко агрегировать, фильтровать, сортировать и объединять потоковые данные.

Каждое задание сопровождается несколькими или одним выводом преобразованных данных, и вы контролируете реакцию на проанализированную информацию. Например,

• Пересылайте данные в разделы служебной шины, функции Azure или другие службы в пользовательские рабочие процессы, нижестоящие или более важные коммуникации.
• Данные хранятся в службах хранения Azure, что помогает моделям машинного обучения обучаться на основе выполнения пакетного анализа или исторических данных.

Распространенные приложения Azure Stream Analytics

Некоторые распространенные приложения Azure Stream Analytics включают в себя:

• Хранение данных: делает потоковые данные доступными для различных облачных сервисов для регистрации, анализа и составления отчетов.
• Информационная панель в реальном времени: данные мониторинга мощности в режиме реального времени, вы можете использовать Power BI.
• Запуск рабочих процессов: доступ к функциям Azure на основе определенных условий.
• Анализ данных: анализируйте и преобразуйте данные в режиме реального времени.
• Уведомления о пересылке: Уведомления о пересылке на основе данных.
• Принимайте решения: принятие решений в режиме реального времени на основе данных.
• Машинное обучение. Используйте машинное обучение для профилактического обслуживания, анализа рисков, прогнозирования тенденций и обнаружения мошенничества.

Как создать задание Stream Analytics на портале Azure

Выполните указанные ниже действия, чтобы создать задание Stream Analytics на портале Azure.

Шаг 1. Сначала необходимо войти на портал Azure.

Шаг 2. Нажмите кнопку «Создать ресурс», чтобы добавить новый ресурс.

Шаг 3. Введите «задание потоковой аналитики или поток» в строке поиска и нажмите «Создать».

Шаг 4. Теперь перейдите на экран задания аналитики потока новостей, укажите такие детали, как название задания, группу ресурсов, подписку и местоположение, и нажмите «Создать».

Шаг 5. После завершения развертывания нажмите кнопку «Перейти к ресурсу».

Шаг 6. Посетите окно задания Stream Analytics для анализа как задания на телефоне, которое находится в меню слева, расположенном в топологии задания, и нажмите «Входные данные, чтобы указать входные данные для задания потоковой аналитики».

Шаг 7. Нажмите «+ Добавить входной поток» на экране ввода и нажмите «Концентраторы событий».

Шаг 8. На экране концентратора событий укажите необходимые значения и нажмите кнопку «Сохранить». После завершения вы увидите задание ввода телефонного потока под окном ввода.

Шаг 9. Посетите окно задания «Анализ телефона как задания» Stream Analytics, расположенное в меню слева в топологии задания. Нажмите «Выходы», чтобы указать поток, нажмите «+ Добавить» и выберите «Хранилище BLOB-объектов».

Шаг 10:

• Выберите или введите нужные значения в окне хранилища BLOB-объектов на панели.
• Заполните значения раскрывающегося списка: минимальная строка = 10 и максимальное время = 5.
• Нажмите «Сохранить».

Теперь вы можете закрыть экран вывода и вернуться на страницу группы ресурсов.

Шаг 11: Нажмите кнопку «Изменить запрос» в окне «Анализ телефона как задания» на экране «Запрос» в середине окна.

Шаг 12: Измените и замените запрос по умолчанию новым и сохраните.

Шаг 13. Нажмите кнопку «Начать» в окне «Анализ как задание» вашего телефона на экране запроса в середине окна, чтобы запустить задание Stream Analytics.

Шаг 14. В диалоговом окне «Начать задание» нажмите «Сейчас», а затем нажмите «Начать».

Следовательно, это шаги по созданию задания Azure Stream Analytics через портал Azure.

Заключение

Azure Stream Analytics — это фантастический инструмент для обработки и анализа данных в реальном времени. Он предлагает простоту использования, полное управление, производительность программиста и низкую совокупную стоимость владения столом. Он создан для обработки критически важных рабочих нагрузок и предоставляет несколько шаблонов решений для нескольких случаев. Независимо от того, используете ли вы аналитические данные в приложениях или используете информационные панели в реальном времени, этот инструмент предоставит вам интеграцию и другие услуги.

Запишитесь на курс Microsoft Certified Azure Data Engineer: DP 203 от Simplilearn и научитесь использовать Azure Stream Analytics вместе с Azure Databricks, Azure Synapse Analytics, Azure Data Factory, Azure Cosmos DB и многим другим!

Часто задаваемые вопросы

1. В чем разница между Azure Synapse Analytics и Azure Stream Analytics?

Аналитика Azure Synapse — это безграничный сервис, сочетающий в себе анализ больших данных и хранилище корпоративных данных. Он может запрашивать и принимать как неструктурированные, так и структурированные данные.

Хотя Azure Stream Analytics — это механизм обработки данных в реальном времени, который принимает потоковые данные в реальном времени для дальнейшей отчетности и анализа в аналитике Azure Synapse, он объединяет данные из нескольких ресурсов и передает данные на информационные панели в реальном времени с помощью Power BI.

2. В чем разница между Центром событий Azure и Stream Analytics?

Концентратор событий Azure может буферизовать и обрабатывать большие объемы данных в реальном времени, а также пересылать такие события, как веб-клики, показания датчиков и события онлайн-журнала.

Между тем, потоковая аналитика анализирует и обрабатывает потоковые данные в режиме реального времени. Он предоставляет функции управления и мониторинга, такие как ведение журнала, оповещения и метрики в реальном времени.

3. К каким типам источников данных можно подключить Azure Stream Analytics?

Типы источников данных, к которым подключается Azure Stream Analytics:

• Центры событий Azure
• Хранилище BLOB-объектов Azure
• База данных SQL Azure
• Центр Интернета вещей
• Azure Data Lake Storage 2-го поколения
• Кафка