Что такое машинное обучение Azure и зачем вам его использовать?

Машинное обучение Azure — это облачная служба, ускоряющая и управляющая жизненным циклом проектов машинного обучения. Специалисты по машинному обучению, специалисты по обработке данных и инженеры могут использовать его в своих повседневных рабочих процессах: обучать и развертывать модели, а также управлять MLOps.

Вы можете собрать модель в Машинном обучении Azure или использовать модель с платформы с открытым исходным кодом, например Pytorch, TensorFlow или scikit-learn. Инструменты MLOps помогают наблюдать, переобучать и повторно развертывать модели.

Вы можете использовать встроенные возможности машинного обучения Azure для своих пользовательских (и готовых к Azure) данных или данных из других источников, таких как общедоступные хранилища данных или существующая платформа машинного обучения.

Машинное обучение Azure может масштабироваться до миллионов запросов в секунду. Он может обрабатывать более 1 триллиона моделей машинного обучения. Azure Machine Lake подойдет, если вам нужны миллионы объектов, 300 триллионов прогнозов и 100-миллионное покрытие.

Что такое служба машинного обучения Azure и когнитивные службы?

В первом выпуске Microsoft запустила службу машинного обучения Azure в Azure и Azure Cognitive Services — набор API-интерфейсов для создания когнитивных служб в Azure.

Первой коммерчески доступной услугой от Microsoft является хранилище таблиц Azure. Azure Cognitive Services включает MLOps с самообслуживанием и может автоматически развертывать, отслеживать и настраивать модели машинного обучения по мере их использования.

Table Storage — это полностью управляемый сервис облачного хранения. Он обеспечивает хранение таблиц, табличных пространств, индексов и инструментов запросов для этих табличных пространств, индексов и самой таблицы.

Машинное обучение Azure также предоставляет облачные службы самообслуживания для R, MXNet, TensorFlow, Microsoft Cognitive Toolkit и других API-интерфейсов обработки данных и машинного обучения. Служба поддерживает все основные механизмы машинного обучения от различных партнеров Microsoft. Вы можете легко поделиться данными своей модели с любым из этих API и использовать любые их функции, например маркировку или классификацию ваших данных.

Microsoft также недавно добавила Cognitive API в список служб, доступных в машинном обучении Azure. Когнитивные API помогают пользователям выполнять такие задачи, как построение прогнозных моделей, отображение изображений, аннотирование фотографий, перевод текста или речи или оптимизация видеоконтента. Cognitive Services построены на базе машинного обучения Azure и его растущего набора API машинного обучения и машинного обучения, таких как API машинного обучения Azure и боты Azure ML.

Microsoft также представила Azure AI Kit, включающий Microsoft Cognitive Toolkit, источники данных и службы, такие как DocumentDB. Этот SDK предоставляет возможность разработки с использованием Cognitive API. Theoffersrk предоставляет разработчикам возможность создавать, обучать, развертывать и управлять своими моделями и инструментами машинного обучения.

Взаимодействие интерфейса прикладного программирования (API) с когнитивными службами

Cognitive Services предлагают API для создания, обучения и развертывания моделей машинного обучения. Чтобы построить модель, разработчики должны сначала настроить один из Cognitive API, предназначенный для выполнения функции на наборе помеченных или немаркированных обучающих примеров, называемых метрикой или кортежем соответственно.

Как только разработчик успешно создаст модель с помощью одного из Cognitive API, модель автоматически развернется в Azure Store или облачном источнике данных. Чтобы использовать Cognitive Services, разработчики должны создать учетную запись в Azure ML Store, чтобы создать приложение с помощью Azure ML Studio и настроить Cognitive API для интеграции со своими приложениями.

Затем приложения можно развернуть в Microsoft Azure ML Marketplace и настроить на портале Azure. Когда разработчику необходимо развернуть приложение в Azure Marketplace, Azure ML Studio создает шаблон, который дает разработчикам указание выбрать API-интерфейсы Azure ML для интеграции.

Какие бизнес-проблемы может решить машинное обучение Azure?

В условиях стремительного роста объема данных, создаваемых предприятиями, машинное обучение становится новой технологией, которая может помочь многим отраслям и компаниям получить ценную информацию на основе собираемых ими данных.

В сфере финансовых услуг Azure ML может позволить банкам и другим компаниям, предоставляющим финансовые услуги, лучше понимать своих клиентов, оценивать их кредитоспособность и отмечать лиц, которые наиболее подвержены риску мошенничества или других финансовых правонарушений. Например, Azure ML может обнаруживать, когда люди открывают несколько учетных записей или пытаются перевести деньги между счетами в разных банках и страховых компаниях.

В сфере розничной торговли машинное обучение может помочь организациям понять, сколько людей посетило магазин, какие товары они купили и сколько раз они вернули товар. В сфере транспорта ML помогает оптимизировать маршруты и доставки, определять способы, которые наилучшим образом удовлетворяют потребности жителей городов, и многое другое.

Если у вас есть много данных для обучения модели машинного обучения, API машинного обучения Microsoft Azure может помочь вам ускорить этот процесс. API ML предоставляет мощные инструменты для ML, которые помогут вам создавать интеллектуальные приложения и получать ценную информацию на основе ваших данных.

Лучшие практики разработки и развертывания моделей машинного обучения

Чтобы максимизировать ценность Azure ML, вы должны убедиться, что ваши модели машинного обучения развернуты в Службах Azure.

Распространенная ошибка, которую допускают организации, — предполагать, что вы можете развернуть модели машинного обучения в Azure из собственного центра обработки данных. Реальность такова, что ML требует доступности в реальном времени в центре обработки данных Azure, чтобы избежать возможных проблем с производительностью.

Лучше всего разработать модель и развернуть ее как часть новой базы кода, чтобы обеспечить ее надежное развертывание в Azure. Чтобы ваша группа по обработке данных могла развернуть свои новые модели как часть новой базы кода, исходный код вашей базы кода должен быть ориентирован на инструменты машинного обучения Azure внутри интегрированной среды разработки Visual Studio. При разработке новой модели вам следует ориентироваться на инструменты Azure ML и убедиться, что база кода вашей новой модели построена на основе инструментов Azure ML.

Еще один лучший способ — внедрить новую модель в веб-службу, которую ваша группа по обработке данных может развернуть в Azure для развертывания своей модели машинного обучения. Чтобы ваша группа по обработке данных могла создать веб-службу, вам понадобится удаленная служба RESTful, и вам необходимо разрешить службе работать в режиме обнаружения в веб-службе, чтобы она могла обнаруживать Azure и подключаться к ней. Было бы полезно, если бы у вас также была возможность разместить веб-службу RESTful в Azure.

Еще одна передовая практика — включить поддержку наиболее широко распространенных платформ распределенных вычислений (таких как Spark, Kafka и Cloudera) для Azure ML. Вы можете выбрать Spark в качестве платформы распределенных вычислений, чтобы использовать и включить ее как диалект SQL, чтобы ваша команда могла запускать код Spark в своей базе данных SQL.

Также важно использовать языко-независимые библиотеки (LIL), такие как ML Hub, для обеспечения поддержки языков, которые изначально не поддерживаются инструментами ML, например языков Python, Java и R. Используя эти независимые от языка библиотеки, вы можете развернуть свои модели в Azure ML.

Еще одна лучшая практика — избегать создания новых баз данных SQL для хранения моделей. Вы можете развернуть модели машинного обучения гораздо быстрее, используя традиционную базу данных NoSQL. Для этого создайте новую базу данных NoSQL и прикрепите ее к Azure ML. Также отличной практикой является использование уровня виртуализации, такого как хранилище Azure, для однократного развертывания вашей модели и ее доступности в любой точке вашей организации.

Microsoft также предоставляет различные инструменты для разработки и развертывания моделей машинного обучения. Одним из самых мощных инструментов для разработки и развертывания моделей машинного обучения является Microsoft Cognitive Toolkit (CNTK). CNTK — это набор инструментов машинного обучения, который поддерживает искусственный интеллект Microsoft в службе машинного обучения Azure. CNTK прост в использовании и имеет предварительно обученную модель, которую можно использовать для построения модели машинного обучения. Эта модель может помочь вам выбрать наиболее подходящую модель машинного обучения для вашего приложения. CNTK имеет режим тестирования, который поможет вам оценить производительность вашей модели при различных рабочих нагрузках и средах.

Microsoft также предоставляет бесплатные инструменты визуализации для CNTK. Интеграция Visual Studio позволяет интегрировать CNTK с Visual Studio, поэтому вы можете использовать существующее рабочее пространство Visual Studio для изучения своих данных.

Чтобы начать работу с CNTK, ознакомьтесь с Azure ML Studio. Вы можете открыть образец проекта CNTK, предназначенный для этой задачи. Чтобы использовать пример проекта, откройте проект Visual Studio, и вы сможете использовать существующую интегрированную среду разработки в Visual Studio для создания, тестирования и развертывания модели CNTK в Azure ML.

Microsoft также предоставляет предварительно обученную модель CNTK для каждой библиотеки. Эта предварительно обученная модель может стать отправной точкой для разработки приложений. Таким образом, вы можете оценить свое приложение и посмотреть, как оно работает на предварительно обученной модели.

Еще один бесплатный инструмент CNTK, который поможет вам понять вашу модель машинного обучения, — это CNTK Design Viewer. Вы можете использовать Design Viewer, чтобы изучить свое приложение и понять, как модель CNTK меняет отношения между обучающими данными.

Microsoft также предлагает «CNTK Garage Sessions» на базе Azure, где эксперты CNTK проводят презентации по деталям использования CNTK. Вы можете просмотреть сеансы CNTK в Центре обучения Azure.

Другие инструменты Microsoft для разработки моделей машинного обучения включают Azure Machine Learning Studio и Azure ML Insights. Студия машинного обучения Azure предоставляет инструменты, которые помогут вам развернуть модели и интегрировать их с инструментами обработки данных, такими как RStudio, Python Studio и SQL Studio. Azure Machine Learning Insights — это панель мониторинга, позволяющая отслеживать производительность ваших приложений.

Azure ML Insights обеспечивает глубокое погружение в ваши данные Azure ML, которое помогает понять, какие факторы влияют на производительность моделей, какие переменные перепредставлены в ваших данных и как выглядит подходящая модель для рассматриваемого приложения.

Будьте впереди технологической игры с нашей сертификацией искусственного интеллекта и машинного обучения в партнерстве с Purdue и в сотрудничестве с IBM. Узнайте больше!

Краткое содержание

Наука о данных часто предполагает сотрудничество. Эти возможности для совместной работы помогут вам научиться использовать машинное обучение для улучшения разработки приложений. Такое сотрудничество позволяет вам понять, какие данные вам следует использовать для своих данных и как используется информация. Это всего лишь несколько возможностей для совместной работы, доступных вам при работе над проектом по науке о данных. Самое лучшее в работе над проектом по науке о данных — это то, что вам доступно так много инструментов. Возможности практически безграничны.

Simplilearn предлагает комплексные программы обучения навыкам в области искусственного интеллекта и машинного обучения, такие как сертификация AI ML в Университете Пердью. Эта двенадцатимесячная программа представляет собой онлайн-учебный лагерь, состоящий из двенадцати курсов, включающих виртуальные классы, практические занятия, проекты и мастер-классы с инструкторами из Purdue и IBM. Эта и другие программы Simplilearn по искусственному интеллекту и машинному обучению — отличный способ продвинуться по карьерной лестнице в области машинного обучения.