Темные данные: что это такое и как с ними следует обращаться бизнесу

Организации продолжают собирать огромные объемы данных каждый день, но ИТ-руководители, которые хотят извлечь из этих данных максимальную пользу, часто сталкиваются с уникальной проблемой.

Большая часть информационной экосистемы организации представляет собой неиспользованную сокровищницу потенциальной деловой ценности. Эти скрытые данные можно проанализировать, чтобы получить важную информацию о сотрудниках, производстве, клиентах и ​​бизнес-активах. Его можно использовать для улучшения качества обслуживания клиентов или улучшения разработки продукта.

Но темные данные также могут представлять серьезные риски для практики защиты данных и накапливать неизвестные затраты, если их оставить без управления. Согласно недавним исследованиям, примерно 50 процентов данных компании скрыты от света и может быть Ежегодные расходы на хранение — 26 миллионов долларов США. — или около 52 процентов бюджета хранения данных предприятия.

Данные становятся все более ценным товаром и будут продолжать служить основой современных конкурентных преимуществ. Для организаций крайне важно понимать «темные» данные и эффективно управлять ими, чтобы максимизировать их потенциал и снизить риски.

Что такое темные данные?

Пер Гартнер, темные данные это информация, которая собирается, обрабатывается и хранится в ходе типичной деловой деятельности, но не используется. Темные данные составляют значительную часть огромного и сложного мира больших данных.

Темные данные генерируются в результате цифровых взаимодействий пользователей, которые происходят каждый день в бесчисленных системах и устройствах, включая файлы журналов сервера, машинные данные и неструктурированные данные социальных сетей. Примером скрытых данных являются неструктурированные данные о геолокации клиентов и данные о настроениях, которые потенциально могут помочь в планировании бизнеса и маркетинга после их анализа на предмет закономерностей в трафике.

В некоторых случаях организации не знают о существовании темных данныхили они считают его слишком устаревшим, излишним или недостаточным, чтобы быть ценным. В других случаях скрытые данные существуют в формате, который недоступен с помощью инструментов организации.

Поскольку компания с течением времени собирает и хранит темные данные, они могут быть личными, неструктурированными, регулируемыми или неохраняемыми. Данные, о которых компания не знает, означают, что они представляют собой незащищенный риск для безопасности и соответствия требованиям. Например, темные данные — привлекательная цель за атаки программ-вымогателей и утечку данных мошенниками и киберпреступниками, которые используют эти конфиденциальные данные в злонамеренных целях. Но только 33 процента ИТ-персонала и руководителей осведомлены о рисках темных данных.

Однако в конечном итоге скрытые данные можно использовать для изучения новых возможностей получения доходов и минимизации расходов. Организациям просто нужно знать об этом, понимать, что в нем содержится, и как его найти и использовать.

Как бороться с темными данными

Такие технологии, как искусственный интеллект (ИИ) и машинное обучение, могут помочь компаниям находить, управлять, защищать и получать общую прозрачность своих темных данных.

Например, решения на основе искусственного интеллекта, которые можно использовать для обрабатывать темные данные Это Datacap от IBM, Cloud Vision и AutoML от Google и Azure Cognitive Services от Microsoft. Это может потребовать глубоких знаний в области глубокого обучения, обработки естественного языка (NLP), MLOps, Python, Java и Kubernetes.

Искусственный интеллект и машинное обучение также могут помочь организациям, занимающимся управлением данными, выявлять риски соответствия требованиям и безопасности, связанные с их активами темных данных, и принимать меры для устранения любого риска. Сопоставление данных может дополнить этот подход, раскрывая местоположения и источники хранимых данных. Минимизация данных также может помочь, поскольку она позволяет уменьшить объем хранимых данных и убедиться, что любые сохраненные данные соответствуют той причине, по которой они были собраны.

Темная аналитика, или анализ скрытых данных организации с помощью искусственного интеллекта, — еще один важный новый инструмент управления темными данными. Ожидается, что рынок темной аналитики, обусловленный стремительным ростом утечек данных, массовым ростом маркетинга, основанного на данных, и необходимостью масштабирования безопасности во всей организации, достигнет более 1,776 миллиарда долларов к 2026 году.

Недавний отчет Splunk показывает, что из 1300 лиц, принимающих решения в сфере ИТ и бизнеса, только От 10 до 15 процентов используют ИИ для решения темных данных. Основным препятствием было отсутствие соответствующих кадров и огромное количество темных данных. Навыки в области искусственного интеллекта, машинного обучения и аналитики, которые уже пользуются большим спросом, будут по-прежнему оставаться огромным благом для предприятий во всех отраслях, поскольку организации принимают меры в отношении темных данных.

Не ждите возможности использования темных данных

Организации просто не могут позволить возможностям или рискам, связанным с темными данными, ускользнуть из их фигуральных пальцев. Пришло время создать жизнеспособные стратегии для решения проблем, связанных с темными данными, и реализовать их потенциал для достижения ключевых бизнес-целей.

Ознакомьтесь с программой профессиональной сертификации Simplilearn в области науки о данных, чтобы получить дополнительную информацию о темных данных и возможностях обучения в области искусственного интеллекта, машинного обучения и темной аналитики.