Что такое машинное обучение Azure и зачем его использовать?

Azure Machine Learning — это облачный сервис, который ускоряет и стимулирует жизненный цикл проекта машинного обучения. Специалисты по машинному обучению, специалисты по данным и инженеры могут использовать его в своих повседневных рабочих процессах: обучать и развертывать модели и управлять MLOps.

Вы можете собрать модель в Azure Machine Learning или использовать модель с платформы с открытым исходным кодом, например Pytorch, TensorFlow или scikit-learn. Инструменты MLOps помогают вам наблюдать, переобучать и повторно развертывать модели.

Вы можете использовать встроенные возможности машинного обучения Azure Machine Learning для своих пользовательских (и готовых к Azure) данных или данных из других источников, таких как общедоступные хранилища данных или существующая платформа машинного обучения.

Azure Machine Learning может масштабироваться до миллионов запросов в секунду. Он может обрабатывать более 1-триллионные модели машинного обучения. Azure Machine Lake может справиться, если вам нужны миллионы объектов, 300 триллионов прогнозов и 100-миллионный охват.

Что такое служба машинного обучения Azure и когнитивные службы?

В первом выпуске Microsoft запустила службу машинного обучения Azure в Azure и Azure Cognitive Services — набор API для создания когнитивных служб в Azure.

Первая коммерчески доступная служба ve Service от Microsoft — это Azure Table Storage. Azure Cognitive Services включает самообслуживаемые MLOps и может автоматически развертывать, отслеживать и настраивать модели ML по мере их использования.

Table Storage — это полностью управляемая облачная служба хранения. Она обеспечивает хранение таблиц, табличных пространств, индексов и инструментов запросов для этих табличных пространств, индексов и самой таблицы.

Azure Machine Learning также предоставляет самообслуживаемые облачные сервисы для R, MXNet, TensorFlow, Microsoft Cognitive Toolkit и других API для науки о данных и машинного обучения. Сервис поддерживает все основные движки машинного обучения от различных партнеров Microsoft. Вы можете легко поделиться данными из своей модели с любым из этих API и использовать любые их функции, такие как маркировка или классификация ваших данных.

Microsoft также недавно добавила Cognitive API в список служб, доступных в Azure Machine Learning. Cognitive API помогают пользователям выполнять такие задачи, как построение прогностических моделей, отображение изображений, аннотирование фотографий, перевод текста или речи или оптимизация видеоконтента. Cognitive Services построены на основе Azure Machine Learning и его растущего набора API машинного обучения и машинного обучения, таких как Azure Machine Learning API и Azure ML Bots.

Microsoft также представила Azure AI Kit, включая Cognitive Toolkit от Microsoft, источники данных и такие сервисы, как DocumentDB. Этот SDK предоставляет способ разработки с использованием Cognitive API. Theoffersrk предоставляет разработчикам способ создания, обучения, развертывания и управления своими моделями и инструментами машинного обучения.

Взаимоотношения интерфейса прикладного программирования (API) с когнитивными службами

Cognitive Services предлагают API для построения, обучения и развертывания моделей машинного обучения. Чтобы построить модель, разработчики должны сначала выбрать один из Cognitive API, выполнив функцию на коллекции маркированных или немаркированных обучающих примеров, называемых Metric или Tuple соответственно.

После того, как разработчик успешно построит модель с помощью одного из API Cognitive, модель автоматически разворачивается в Azure Store или облачном источнике данных. Чтобы использовать Cognitive Services, разработчикам необходимо создать учетную запись в Azure ML Store, чтобы создать приложение с помощью Azure ML Studio и настроить Cognitive API для интеграции со своими приложениями.

Затем приложения можно развернуть в Microsoft Azure ML Marketplace и настроить в Azure Portal. Когда разработчику необходимо развернуть приложение в Azure Marketplace, Azure ML Studio генерирует шаблон, который инструктирует разработчиков выбрать API Azure ML для интеграции.

Какие бизнес-задачи может решить машинное обучение Azure?

Учитывая стремительный рост объемов данных, создаваемых предприятиями, машинное обучение становится новой технологией, которая может помочь многим отраслям и компаниям извлекать ценную информацию из собираемых ими данных.

В сфере финансовых услуг Azure ML может позволить банкам и другим компаниям, предоставляющим финансовые услуги, лучше понимать своих клиентов, оценивать их кредитоспособность и отмечать лиц, которые наиболее подвержены риску мошенничества или других финансовых правонарушений. Например, Azure ML может определять, когда люди открывают несколько счетов или пытаются перевести деньги между счетами в разных банках и страховых компаниях.

В розничной торговле МО может помочь организациям понять, сколько людей посетили магазин, какие товары они купили и сколько раз они возвращали товар. В транспортировке МО помогает оптимизировать маршруты и доставки, определять способы, которые наилучшим образом удовлетворяют потребности жителей городов, и многое другое.

Если у вас много данных для обучения вашей модели машинного обучения, API машинного обучения Microsoft Azure может помочь вам ускорить процесс. API машинного обучения предоставляет мощные инструменты для машинного обучения, которые могут помочь вам создавать интеллектуальные приложения и получать информацию из ваших данных.

Лучшие практики разработки и внедрения моделей машинного обучения

Чтобы максимально использовать возможности Azure ML, необходимо обеспечить развертывание моделей машинного обучения в службах Azure.

Распространенная ошибка организаций — предполагать, что можно развернуть модели машинного обучения в Azure из собственного центра обработки данных. Реальность такова, что ML требует доступности в реальном времени в центре обработки данных Azure, чтобы избежать возможных проблем с производительностью.

Лучше всего разрабатывать модель и развертывать ее как часть новой кодовой базы, чтобы гарантировать надежное развертывание модели в Azure. Чтобы позволить вашей команде по науке о данных развертывать новые модели как часть новой кодовой базы, исходный код вашей кодовой базы должен быть нацелен на Azure ML Tools внутри Visual Studio IDE. При разработке новой модели следует ориентироваться на Azure ML Tools и гарантировать, что кодовая база вашей новой модели построена поверх Azure ML Tools.

Еще одна передовая практика — встроить новую модель в веб-сервис, который ваша команда по науке о данных может развернуть в Azure для развертывания своей модели машинного обучения. Чтобы ваша команда по науке о данных могла создать веб-сервис, вам нужна удаленная служба RESTful, и вам нужно разрешить режим обнаружения сервиса в веб-сервисе, чтобы он мог обнаружить Azure и подключиться к нему. Было бы полезно, если бы у вас также был способ разместить веб-сервис RESTful в Azure.

Еще одна передовая практика — включить поддержку наиболее широко распространенных платформ распределенных вычислений (таких как Spark, Kafka и Cloudera) для Azure ML. Вы можете выбрать Spark в качестве распределенной вычислительной платформы для использования и включить ее как диалект SQL, чтобы ваша команда могла запускать код Spark внутри своей базы данных SQL.

Также важно использовать библиотеки, не зависящие от языка (LIL), такие как ML Hub, для поддержки языков, которые изначально не поддерживаются инструментами машинного обучения, такими как языки Python, Java и R. Используя эти библиотеки, не зависящие от языка, вы можете развернуть свои модели в Azure ML.

Еще одна лучшая практика — избегать создания новых баз данных SQL для хранения моделей. Вы можете развернуть модели ML гораздо быстрее, используя традиционную базу данных NoSQL. Вы делаете это, создавая новую базу данных NoSQL и присоединяя ее к Azure ML. Также отличной практикой является использование уровня виртуализации, например Azure Storage, чтобы развернуть вашу модель один раз и сделать ее доступной в любой точке вашей организации.

Microsoft также предоставляет различные инструменты для разработки и развертывания моделей машинного обучения. Одним из самых мощных инструментов для разработки и развертывания моделей машинного обучения является Microsoft Cognitive Toolkit (CNTK). CNTK — это набор инструментов машинного обучения, который обеспечивает работу ИИ Microsoft в службе машинного обучения Azure. CNTK прост в использовании и имеет предварительно обученную модель, которую он может использовать для создания модели машинного обучения. Эта модель может помочь вам выбрать наиболее подходящую модель машинного обучения для вашего приложения. CNTK имеет режим бенчмарка, который может помочь вам оценить производительность вашей модели при различных рабочих нагрузках и средах.

Microsoft также предоставляет бесплатные инструменты визуализации для CNTK. Интеграция с Visual Studio позволяет интегрировать CNTK с Visual Studio, поэтому вы можете использовать существующее рабочее пространство Visual Studio для исследования своих данных.

Чтобы начать работу с CNTK, ознакомьтесь с Azure ML Studio. Вы можете открыть пример проекта CNTK, разработанный для этой задачи. Чтобы использовать пример проекта, откройте проект Visual Studio, и вы можете использовать существующую IDE в Visual Studio для создания, тестирования и развертывания модели CNTK в Azure ML.

Microsoft также предоставляет предварительно обученную модель CNTK на основе библиотеки. Эта предварительно обученная модель может стать отправной точкой для разработки приложения. Таким образом, вы можете оценить свое приложение и увидеть, как оно работает на предварительно обученной модели.

Еще один бесплатный инструмент CNTK, который поможет вам понять вашу модель ML, — это CNTK Design Viewer. Вы можете использовать Design Viewer, чтобы изучить свое приложение и понять, как модель CNTK изменяет отношения между данными обучения.

Microsoft также предлагает Azure-based “CNTK Garage Sessions”, где эксперты CNTK проводят презентации о деталях использования CNTK. Вы можете смотреть сеансы CNTK в Azure Learning Center.

Другие инструменты Microsoft для разработки моделей машинного обучения включают Azure Machine Learning Studio и Azure ML Insights. Azure Machine Learning Studio предоставляет инструменты, которые помогут вам развернуть ваши модели и интегрировать их с инструментами науки о данных, такими как RStudio, Python Studio и SQL Studio. Azure Machine Learning Insights — это панель мониторинга, которая позволяет просматривать производительность ваших приложений.

Azure ML Insights обеспечивает глубокий анализ данных Azure ML, помогая понять, какие факторы влияют на производительность моделей, какие переменные чрезмерно представлены в ваших данных и как выглядит подходящая модель для вашего приложения.

Оставайтесь впереди технологической игры с нашей сертификацией AI и ML в партнерстве с Purdue и в сотрудничестве с IBM. Узнайте больше!

Краткое содержание

Наука о данных часто является совместной работой. Эти возможности совместной работы могут помочь вам научиться использовать машинное обучение для улучшения того, как вы разрабатываете приложения. Это сотрудничество позволяет вам понять, какие данные вы должны использовать для своих данных и как используется информация. Это всего лишь несколько возможностей совместной работы, доступных вам при работе над проектом по науке о данных. Лучшее в работе над проектом по науке о данных — это то, что доступно так много инструментов, которые вам помогут. Возможности практически безграничны.

Simplilearn предлагает комплексные программы обучения навыкам в области искусственного интеллекта и машинного обучения, такие как сертификация AI ML в Университете Пердью. Эта двенадцатимесячная программа представляет собой онлайн-лагерь, состоящий из двенадцати курсов с живыми виртуальными классами, практическими лабораториями, проектами и мастер-классами с инструкторами из Пердью и IBM. Эта и другие программы Simplilearn в области искусственного интеллекта и машинного обучения — отличный способ продвинуться по карьерной лестнице в области машинного обучения.