Начало работы с Azure Databricks

Azure Databricks и Azure ML от Microsoft призваны упростить создание обширного анализа данных без использования определенных языков программирования или управления большим количеством кода R или Python. Вы можете использовать эти инструменты для выполнения заданий по аналитике и машинному обучению, а также для оптимизации анализа и управления данными в облачных средах.

Azure Databricks возникла, когда компания решила включить возможности обработки данных в облачную платформу Azure. Microsoft была не первой, кто это предложил. Тем не менее, компания создала сервис с множеством функций, ориентированных на разработчиков, включая программный интерфейс (API) для проектирования, обучения и выполнения задач машинного обучения и аналитики.

Поскольку облако становится все более важной частью работы организаций, занимающихся данными и аналитикой, Microsoft перенесла свое предложение Databricks из Azure в общедоступное облако Azure, чтобы любой подписчик Azure мог использовать эту технологию. Он также перенес возможности из Serverless Resource Manager в службу открытых данных Microsoft, которая является базовой технологией Azure Databricks.

Какие новые службы доступны в Azure Databricks от Microsoft?

Сегодня Microsoft предлагает три новых сервиса: Azure Databricks Workbench, Azure Databricks Modeler и Azure Databricks PubSub.

Azure Databricks Workbench (ранее называвшаяся Azure ML Studio) помогает ученым и аналитикам данных разрабатывать, обучать и развертывать задания машинного обучения и аналитики. Его можно использовать с такими языками программирования, как R или Python. Azure ML Modeler позволяет пользователям разрабатывать и обучать модели машинного обучения в рамках службы машинного обучения Microsoft. Azure Databricks PubSub — это уровень подключения, который соединяет различные компоненты внутри общедоступного облака Microsoft Azure, включая Azure IoT Hub и Azure Data Lake Store.

Три инструмента Azure Databricks работают с другими службами Azure, включая службу машинного обучения Azure, хранилище данных SQL Azure и службу функций Azure.

Прямо сейчас инструменты Azure Databricks могут подключаться к любой библиотеке машинного обучения, работающей в Azure, например к библиотекам Spark MLlib или MXNet. Microsoft также предоставляет несколько примеров задач по обработке данных, которые можно запускать из Databricks Workbench с использованием этих библиотек.

Служба также совместима с R, Python, TensorFlow и Spark, а также пакетами для MATLAB и других языков программирования.

Каков план Microsoft по улучшению служб Azure Databricks?

Microsoft добавляет несколько улучшений в свои услуги, опираясь на уже заложенную основу. Одним из ключевых направлений работы является интерфейс и документация. Документация Azure Databricks Workbench и пример кода получили огромное обновление, а Microsoft также планирует обновить документацию для Azure ML Modeler и PubSub. Microsoft также инвестирует в обучение, чтобы сделать Databricks приемлемой платформой для создания моделей машинного обучения, выполнения задач по обработке данных и рабочих процессов расширенного анализа данных.

Microsoft также планирует добавить улучшенную поддержку включения структурированных и полуструктурированных данных и больше соединителей с другими системами, такими как Azure Data Lake Store и SQL Server. Microsoft работает с Нью-Йоркской академией наук о данных над созданием бесплатного курса, который научит студентов создавать рабочие места в области науки о данных с использованием этих технологий. Microsoft также помогает командам специалистов по обработке данных и машинному обучению выяснить, где брать данные. Например, облачные службы Azure Spark упрощают импорт различных видов данных и подключение к ним.

Чем Microsoft отличается от конкурентов на рынке больших данных и аналитики?

Microsoft — не первая компания, которая запускает инструменты для создания рабочих мест в области машинного обучения и аналитики. У Amazon есть сервис Amazon Redshift и Amazon SageMaker — преимущество для написания, обучения и развертывания моделей машинного обучения. Google также предлагает службу Data Science Experience, которая включает в себя инструменты подготовки и запроса данных и совместима с популярными устройствами, такими как R и Matlab. Google также предоставляет аналитические услуги для Hadoop, а также сервис Google BigQuery.

Но служба Microsoft Azure Databricks позволяет разработчикам писать приложения, которые работают как в общедоступном облаке Azure, так и в общедоступных облачных службах Azure, таких как центр обработки данных Windows Server. Это сделает Azure Databricks особенно полезным для задач по обработке данных и машинному обучению, поскольку подобные проекты обычно выполняются в общедоступном облаке.

Наконец, услуги Microsoft более конкурентоспособны, поскольку они имеют знакомую и проверенную среду интеграции под названием Microsoft Graph. Разработчики могут создавать приложения, используя технологии Microsoft для веб-браузера Edge, Skype, Microsoft Dynamics CRM и Windows 10. Это знакомство является решающим отличием для Microsoft.

Какова концепция Microsoft для Azure Databricks?

Microsoft поставила перед собой долгосрочную цель предоставить разработчикам возможность создавать свои приложения с использованием сервисов Microsoft. Microsoft также планирует интегрировать эти сервисы со своей экосистемой продуктов, включая виртуального помощника Microsoft Cortana и Microsoft Office 365. Microsoft также планирует интегрировать Databricks со службами хранилищ данных Microsoft, службой SQL Server и Microsoft Graph.

Сегодня инструменты Azure Databricks лучше всего работают с Google BigQuery, Microsoft Graph, Spark и MongoDB. Но Microsoft также планирует интегрировать эти устройства с Azure HDInsight и Azure Data Lake Store. Недавно Microsoft объявила о планах реализовать возможности Azure HDInsight в Azure Databricks, и эти планы вскоре должны стать реальностью. Microsoft также планирует добавить Spark и TensorFlow в службу машинного обучения Azure и улучшить интерфейс Spark с Databricks.

Такие технологии, как Azure Databricks для машинного обучения, рассматриваются в курсе AI ML от Simplilearn в партнерстве с Университетом Пердью. Другие аспекты Azure рассматриваются в нашей программе последипломного образования в области облачных вычислений в партнерстве с Caltech CTME. Эти программы помогут вам развить карьеру и углубить знания об инструментах и ​​технологиях Azure.