Темные данные: что это такое и как предприятиям следует с ними бороться

Организации продолжают собирать огромные объемы данных каждый день, но ИТ-руководители, желающие извлечь из этих данных максимальную пользу, часто сталкиваются с уникальной проблемой.

Большая часть информационной экосистемы организации — это неиспользованный кладезь потенциальной ценности для бизнеса. Эти темные данные можно анализировать, чтобы получить важные сведения о сотрудниках, производстве, клиентах и ​​бизнес-активах. Их можно использовать для улучшения клиентского опыта или улучшения разработки продукта.

Но темные данные также могут представлять серьезные риски для практики защиты данных и накапливать неизвестные затраты, если их не контролировать. Согласно последним исследованиям, примерно 50 процентов данных компании являются темными и может быть Ежегодные расходы на хранение в размере 26 миллионов долларов — или около 52 процентов бюджета предприятия на хранение данных.

Данные становятся все более ценным товаром и продолжат служить основой современного конкурентного преимущества. Организациям крайне важно понимать темные данные и эффективно управлять ими, чтобы максимально использовать их потенциал и минимизировать риски.

Что такое темные данные?

Пер Гартнер, темные данные это информация, которая собирается, обрабатывается и хранится в ходе типичной деловой активности, но не используется. Темные данные составляют значительную часть огромного и сложного мира Больших данных.

Dark data генерируются из цифровых взаимодействий пользователей, которые происходят каждый день на бесчисленных системах и устройствах, включая файлы журналов сервера, машинные данные и неструктурированные данные социальных сетей. Примером dark data являются неструктурированные данные о геолокации клиентов и данные о настроениях, которые потенциально могут поддерживать бизнес- и маркетинговое планирование после анализа их на наличие закономерностей в трафике.

В некоторых случаях, организации не знают о существовании темных данныхили они считают его слишком устаревшим, избыточным или недостаточным, чтобы быть ценным. В других случаях темные данные существуют в формате, который недоступен для инструментов организации.

Поскольку бизнес собирает и хранит темные данные с течением времени, они могут быть персональными, неструктурированными, регулируемыми или незащищенными. Данные, о которых компания не знает, означают, что это незащищенный риск для безопасности и соответствия. Например, темные данные — привлекательная цель для атак с использованием программ-вымогателей и утечек данных мошенниками и киберпреступниками, которые используют эти конфиденциальные данные для злонамеренных целей. Но только 33 процента ИТ-персонала и руководителей осведомлены о рисках, связанных с темными данными.

Однако в конечном итоге темные данные можно использовать для изучения новых источников дохода и минимизации расходов. Организациям просто нужно знать о них, понимать, что они содержат, и как их найти и использовать.

Как работать с темными данными

Такие технологии, как искусственный интеллект (ИИ) и машинное обучение, могут помочь компаниям находить, управлять, защищать и обеспечивать общую прозрачность своих скрытых данных.

Например, решения на основе искусственного интеллекта, которые можно использовать для обрабатывать темные данные являются Datacap от IBM, Cloud Vision и AutoML от Google и Azure Cognitive Services от Microsoft. Это может включать глубокие знания в области глубокого обучения, обработки естественного языка (NLP), MLOps, Python, Java и Kubernetes.

ИИ и машинное обучение также могут помочь организациям с управлением данными обнаружить риски соответствия и безопасности, вытекающие из их темных данных, и предпринять шаги для устранения любого воздействия. Картографирование данных может дополнить этот подход, раскрывая местоположения и источники хранимых данных. Минимизация данных также может помочь, поскольку она может уменьшить количество хранимых данных и убедиться, что любые сохраненные данные специально подходят для причины, по которой они были собраны.

Dark analytics, или анализ темных данных организации с помощью ИИ, является еще одним важным новым инструментом в управлении темными данными. Под воздействием стремительного роста утечек данных, массового роста маркетинга на основе данных и необходимости масштабирования безопасности в масштабах всей организации ожидается, что рынок темной аналитики достигнет более 1,776 млрд долларов к 2026 году.

Недавний отчет Splunk показывает, что из 1300 лиц, принимающих решения в сфере ИТ и бизнеса, только 10–15 процентов используют ИИ для решения проблемы темных данных. Главным препятствием было названо отсутствие соответствующих кадров и огромное количество темных данных. Навыки в области ИИ, машинного обучения и аналитики — которые уже пользуются большим спросом — продолжат оставаться огромным благом для предприятий в каждой отрасли, поскольку организации принимают меры в отношении темных данных.

Не ждите возможности темных данных

Организации просто не могут позволить возможностям или рискам, связанным с темными данными, ускользнуть сквозь их образные пальцы. Пришло время создать жизнеспособные стратегии для управления проблемами темных данных и реализовать их потенциал для ключевых бизнес-целей.

Ознакомьтесь с программой профессиональной сертификации Simplilearn в области науки о данных, чтобы получить дополнительную информацию о темных данных и вариантах обучения в области искусственного интеллекта, машинного обучения и темной аналитики.