Что такое качество данных: определение, размеры и характеристики

Данные насыщают современный мир. Данные — это информация, информация — это знания, а знания — это сила, поэтому данные стали формой современной валюты, ценным товаром, которым обмениваются участвующие стороны.

Данные помогают людям и организациям принимать более обоснованные решения, значительно повышая вероятность успеха. Судя по всему, это указывает на то, что большие объемы данных — это хорошо. Однако это не всегда так. Иногда данные неполны, неверны, избыточны или не соответствуют потребностям пользователя.

Но, к счастью, у нас есть концепция качества данных, которая помогает облегчить работу. Итак, давайте рассмотрим, что такое качество данных, в том числе каковы его характеристики и лучшие практики, а также как мы можем использовать его для улучшения данных.

Каково определение качества данных?

Проще говоря, качество данных говорит нам, насколько надежен конкретный набор данных и будет ли он достаточно хорош для использования пользователем при принятии решений. Это качество часто измеряется градусами.

Но что такое качество данных с практической точки зрения?

Качество данных измеряет состояние данных, полагаясь на такие факторы, как их полезность для конкретной цели, полнота, точность, своевременность (например, являются ли они актуальными?), последовательность, достоверность и уникальность.

Аналитики качества данных несут ответственность за проведение оценок качества данных, которые включают оценку и интерпретацию каждого показателя качества данных. Затем аналитик создает совокупную оценку, отражающую общее качество данных, и присваивает организации процентный рейтинг, показывающий, насколько точны данные.

Если выразить определение более прямо, качество данных показывает, насколько хороши данные и насколько они полезны для поставленной задачи. Но этот термин также относится к планированию, реализации и контролю действий, в которых применяются необходимые практики и методы управления качеством, необходимые для обеспечения действенности и ценности данных для потребителей данных.

Теперь давайте посмотрим на аспекты качества данных после того, как вы лучше поймете, что такое качество данных.

Параметры качества данных

Существует шесть основных, или основных, аспектов качества данных. Это метрики, которые аналитики используют для определения жизнеспособности данных и их полезности для людей, которые в них нуждаются.

Данные должны соответствовать реальным сценариям реального мира и отражать реальные объекты и события. Аналитики должны использовать поддающиеся проверке источники для подтверждения меры точности, определяемой тем, насколько близко значения совпадают с проверенными источниками правильной информации.

Полнота измеряет способность данных успешно доставлять все обязательные значения, которые доступны.

Согласованность данных описывает единообразие данных при их перемещении по приложениям и сетям, а также при их поступлении из нескольких источников. Согласованность также означает, что одни и те же наборы данных, хранящиеся в разных местах, должны быть одинаковыми и не конфликтовать. Обратите внимание, что согласованные данные могут быть неверными.

Своевременные данные — это информация, которая легко доступна в любой момент, когда она необходима. Это измерение также включает поддержание актуальности данных; данные должны обновляться в режиме реального времени, чтобы гарантировать их постоянную доступность.

Уникальность означает, что никакие дублирования или избыточная информация не перекрываются во всех наборах данных. Ни одна запись в наборе данных не существует несколько раз. Аналитики используют очистку и дедупликацию данных, чтобы справиться с низким показателем уникальности.

Данные должны собираться в соответствии с определенными бизнес-правилами и параметрами организации. Информация также должна соответствовать правильным, принятым форматам, а все значения набора данных должны находиться в пределах надлежащего диапазона.

Как улучшить качество данных?

Люди, ищущие идеи о том, как улучшить качество данных, обращаются за ответами к управлению качеством данных. Управление качеством данных направлено на использование сбалансированного набора решений для предотвращения будущих проблем с качеством данных и очистки (и, в идеале, в конечном итоге удаления) данных, которые не соответствуют KPI качества данных (ключевым показателям эффективности). Эти действия помогают предприятиям достичь своих текущих и будущих целей.

Качество данных – это нечто большее, чем просто очистка данных. Имея это в виду, вот восемь обязательных правил, используемых для предотвращения проблем с качеством данных и улучшения качества данных путем очистки информации от всех неверных данных:

В управлении данными излагаются политики и стандарты данных, которые определяют необходимые ключевые показатели эффективности качества данных и на каких элементах данных следует сосредоточиться. Эти стандарты также включают правила бизнеса, которые необходимо соблюдать для обеспечения качества данных.

Профилирование данных — это методология, используемая для понимания всех активов данных, которые являются частью управления качеством данных. Профилирование данных имеет решающее значение, поскольку многие из рассматриваемых активов на протяжении многих лет заполнялись разными людьми, придерживающимися разных стандартов.

Технология сопоставления данных основана на кодах сопоставления, используемых для определения того, описывают ли два или более бита данных одну и ту же реальную вещь. Например, предположим, есть человек по имени Майкл Джонс. В наборе данных о клиентах могут быть отдельные записи для Майка Джонса, Микки Джонса, Джонси, Большого Майка Джонса и Майкла Джонса, но все они описывают одного человека.

Информация, полученная в результате профилирования данных и сопоставления данных, может использоваться для измерения ключевых показателей эффективности качества данных. Отчетность также включает в себя ведение журнала проблем с качеством, в котором документируются известные проблемы с данными и любые последующие меры по очистке и предотвращению данных.

• Управление основными данными (MDM)

Платформы управления основными данными — отличные ресурсы для предотвращения проблем с качеством данных. Платформы MDM работают с основными данными продукта, основными данными местоположения и основными данными сторон.

• Интеграция данных клиентов (CDI)

CDI включает в себя сбор основных данных о клиентах, собранных с помощью приложений CRM и сайтов самообслуживания. Эту информацию необходимо объединить в один источник правды.

• Управление информацией о продукте (PIM)

Производителям и продавцам товаров необходимо согласовать свои KPI качества данных друг с другом, чтобы, когда клиенты заказывают продукт, это был один и тот же товар на всех этапах цепочки поставок. Таким образом, большая часть PIM предполагает создание стандартизированного способа получения и представления данных о продукте.

• Управление цифровыми активами (DAM)

Цифровые активы включают в себя такие элементы, как видео, текстовые документы, изображения и аналогичные файлы, используемые вместе с данными о продуктах. Эта дисциплина предполагает обеспечение актуальности всех тегов и качества цифровых активов.

Лучшие практики в области качества данных

Аналитики данных, стремящиеся улучшить качество данных, должны следовать передовым практикам для достижения своих целей. Вот десять важнейших рекомендаций, которым следует следовать:

• Убедитесь, что в этом участвует высшее руководство. Аналитики данных могут решить многие проблемы качества данных посредством межведомственного участия.
• Включите управление деятельностью по обеспечению качества данных в свою систему управления данными. Структура устанавливает политику и стандарты данных, необходимые роли и предлагает бизнес-глоссарий.
• Каждая поднятая проблема качества данных должна начинаться с анализа первопричин. Если вы не устраните основную причину проблемы с данными, проблема неизбежно возникнет снова. Не просто устраняйте симптомы болезни; нужно вылечить саму болезнь.
• Ведите журнал проблем с качеством данных. Для каждой проблемы требуется запись с информацией о назначенном владельце данных, задействованном распорядителе данных, влиянии проблемы, окончательном решении и сроках любых необходимых процедур.
• Заполняйте роли владельца данных и управляющего данными со стороны бизнеса вашей компании, а также роли хранителя данных со стороны бизнеса или ИТ, когда это возможно и имеет наибольший смысл.
• Используйте примеры катастроф с качеством данных, чтобы повысить осведомленность о важности качества данных. Однако, хотя анекдоты отлично подходят для иллюстративных целей, вам следует полагаться на основанный на фактах анализ воздействия и рисков, чтобы обосновать свои решения и необходимое для них финансирование.
• Бизнес-глоссарий вашей организации должен служить основой для управления метаданными.
• По возможности избегайте ввода данных. Вместо этого изучите экономически эффективные решения для внедрения данных, в которых используются сторонние источники данных, предоставляющие общедоступные данные. Эти данные включают в себя такие элементы, как имена, местоположения в целом, адреса и идентификаторы компаний, а в некоторых случаях и отдельных людей. При работе с данными о продуктах по возможности используйте сторонние данные от торговых партнеров.
• При решении проблем с данными приложите все усилия для внедрения соответствующих процессов и технологий, которые предотвратят возникновение проблем как можно ближе к точке регистрации данных, а не будут зависеть от последующей очистки данных.
• Установите ключевые показатели эффективности данных, которые работают в тандеме с общими ключевыми показателями эффективности бизнеса. Ключевые показатели качества данных, иногда называемые индикаторами качества данных (DQI), часто могут быть связаны с такими параметрами качества данных, как уникальность, полнота и согласованность.

Хотели бы вы стать аналитиком данных?

По данным Indeed, средняя базовая зарплата аналитика данных составляет 124 197 долларов США в год. Ознакомьтесь с полным списком курсов по анализу данных Simplilearn и начните свою новую карьеру!

Чем больше данных генерирует наш мир, тем больше спрос на аналитиков данных. Simplilearn предлагает магистерскую программу по аналитике данных, которая сделает вас экспертом в области анализа данных. Этот сертификационный курс Data Analyst, проводимый в сотрудничестве с IBM, научит вас ценным навыкам, таким как работа с базами данных SQL, создание визуализаций данных, языки R и Python, инструменты и методы аналитики, а также применение статистики и прогнозирования. аналитика в бизнес-среде.