Что такое качество данных — определение, измерения и характеристики

Данные пропитывают современный мир. Данные — это информация, информация — это знания, а знания — это сила, поэтому данные стали формой современной валюты, ценным товаром, которым обмениваются участвующие стороны.

Данные помогают людям и организациям принимать более обоснованные решения, значительно увеличивая вероятность успеха. По всем признакам, это, кажется, указывает на то, что большие объемы данных — это хорошо. Однако это не всегда так. Иногда данные неполны, неверны, избыточны или неприменимы к потребностям пользователя.

Но к счастью, у нас есть концепция качества данных, которая поможет облегчить эту работу. Давайте рассмотрим, что такое качество данных, в том числе его характеристики и лучшие практики, а также то, как мы можем использовать его для улучшения данных.

Каково определение качества данных?

Проще говоря, качество данных говорит нам, насколько надежен определенный набор данных и будет ли он достаточно хорош для использования пользователем при принятии решений. Это качество часто измеряется степенями.

Но что такое качество данных на практике?

Качество данных измеряет состояние данных, полагаясь на такие факторы, как их полезность для конкретной цели, полнота, точность, своевременность (например, являются ли они актуальными?), согласованность, достоверность и уникальность.

Аналитики качества данных отвечают за проведение оценок качества данных, которые включают оценку и интерпретацию каждой метрики качественных данных. Затем аналитик создает совокупный балл, отражающий общее качество данных, и дает организации процентный рейтинг, показывающий, насколько точны данные.

Если выразить определение более прямо, качество данных показывает, насколько хороши данные и насколько они полезны для поставленной задачи. Но этот термин также относится к планированию, внедрению и контролю действий, которые применяют необходимые методы и методы управления качеством, требуемые для обеспечения того, чтобы данные были применимы на практике и ценны для потребителей данных.

Теперь, когда вы лучше поймете, что такое качество данных, давайте рассмотрим измерения качества данных.

Параметры качества данных

Существует шесть основных, или основных, измерений качества данных. Это метрики, которые аналитики используют для определения жизнеспособности данных и их полезности для людей, которым они нужны.

Данные должны соответствовать реальным сценариям реального мира и отражать реальные объекты и события. Аналитики должны использовать проверяемые источники для подтверждения меры точности, определяемой тем, насколько близко значения соответствуют проверенным правильным источникам информации.

Полнота измеряет способность данных успешно предоставлять все обязательные значения, которые доступны.

Согласованность данных описывает однородность данных при их перемещении между приложениями и сетями, а также при их поступлении из нескольких источников. Согласованность также означает, что одни и те же наборы данных, хранящиеся в разных местах, должны быть одинаковыми и не конфликтовать. Обратите внимание, что согласованные данные все равно могут быть неверными.

Своевременные данные — это информация, которая легко доступна, когда бы она ни понадобилась. Это измерение также охватывает поддержание актуальности данных; данные должны обновляться в режиме реального времени, чтобы гарантировать их постоянную доступность и доступность.

Уникальность означает, что нет дубликатов или избыточной информации, перекрывающихся во всех наборах данных. Ни одна запись в наборе данных не существует несколько раз. Аналитики используют очистку данных и дедупликацию, чтобы помочь решить проблему низкого показателя уникальности.

Данные должны собираться в соответствии с определенными бизнес-правилами и параметрами организации. Информация также должна соответствовать правильным, принятым форматам, а все значения набора данных должны попадать в надлежащий диапазон.

Как улучшить качество данных?

Люди, ищущие идеи по улучшению качества данных, обращаются за ответами к управлению качеством данных. Управление качеством данных направлено на использование сбалансированного набора решений для предотвращения будущих проблем с качеством данных и очистки (и в идеале в конечном итоге удаления) данных, которые не соответствуют KPI (ключевым показателям эффективности) качества данных. Эти действия помогают компаниям достигать своих текущих и будущих целей.

Качество данных — это не только очистка данных. Имея это в виду, вот восемь обязательных дисциплин, используемых для предотвращения проблем с качеством данных и улучшения качества данных путем очистки информации от всех плохих данных:

Управление данными определяет политики и стандарты данных, которые определяют требуемые KPI качества данных и на каких элементах данных следует сосредоточиться. Эти стандарты также включают, какие бизнес-правила должны соблюдаться для обеспечения качества данных.

Профилирование данных — это методология, используемая для понимания всех активов данных, которые являются частью управления качеством данных. Профилирование данных имеет решающее значение, поскольку многие из рассматриваемых активов были заполнены многими разными людьми на протяжении многих лет, придерживаясь разных стандартов.

Технология сопоставления данных основана на кодах сопоставления, используемых для определения того, описывают ли два или более битов данных одну и ту же реальную вещь. Например, предположим, что есть человек по имени Майкл Джонс. В наборе данных о клиентах могут быть отдельные записи для Майка Джонса, Микки Джонса, Джонси, Большого Майка Джонса и Майкла Джонса, но все они описывают одного человека.

Информация, собранная в результате профилирования данных и сопоставления данных, может использоваться для измерения ключевых показателей эффективности качества данных. Отчетность также включает ведение журнала проблем качества, в котором документируются известные проблемы с данными и любые последующие усилия по очистке и профилактике данных.

• Управление основными данными (MDM)

Фреймворки Master Data Management являются отличными ресурсами для предотвращения проблем с качеством данных. Фреймворки MDM работают с основными данными о продуктах, основными данными о местоположении и основными данными о сторонах.

• Интеграция данных клиентов (CDI)

CDI включает в себя компиляцию основных данных клиентов, собранных через приложения CRM, сайты самообслуживания регистрации. Эта информация должна быть скомпилирована в один источник правды.

• Управление информацией о продукте (PIM)

Производители и продавцы товаров должны согласовывать свои KPI качества данных друг с другом, чтобы при заказе товара клиентами это был один и тот же товар на всех этапах цепочки поставок. Таким образом, большая часть PIM предполагает создание стандартизированного способа получения и представления данных о продукте.

• Управление цифровыми активами (DAM)

Цифровые активы охватывают такие элементы, как видео, текстовые документы, изображения и подобные файлы, используемые вместе с данными о продукте. Эта дисциплина включает в себя обеспечение релевантности всех тегов и качества цифровых активов.

Лучшие практики качества данных

Аналитики данных, которые стремятся улучшить качество данных, должны следовать лучшим практикам для достижения своих целей. Вот десять важнейших лучших практик, которым нужно следовать:

• Убедитесь, что высшее руководство вовлечено. Аналитики данных могут решить многие проблемы качества данных посредством межведомственного участия.
• Включите управление деятельностью по качеству данных в свою структуру управления данными. Структура устанавливает политики и стандарты данных, требуемые роли и предлагает бизнес-глоссарий.
• Каждая поднятая проблема с качеством данных должна начинаться с анализа первопричины. Если вы не устраните первопричину проблемы с данными, проблема неизбежно возникнет снова. Не просто устраняйте симптомы болезни; вам нужно вылечить саму болезнь.
• Ведите журнал проблем с качеством данных. Для каждой проблемы нужна запись, полная информации о назначенном владельце данных, вовлеченном управляющем данными, влиянии проблемы, окончательном решении и сроках любых необходимых процедур.
• Заполните должности владельца данных и ответственного за обработку данных со стороны бизнеса вашей компании, а должности хранителя данных — со стороны бизнеса или ИТ, когда это возможно и наиболее целесообразно.
• Используйте примеры катастроф с качеством данных, чтобы повысить осведомленность о важности качества данных. Однако, хотя анекдоты хороши для иллюстративных целей, вам следует полагаться на основанный на фактах анализ воздействия и рисков, чтобы обосновать свои решения и требуемое для них финансирование.
• Бизнес-глоссарий вашей организации должен служить основой для управления метаданными.
• Избегайте ввода данных, где это возможно. Вместо этого изучите экономически эффективные решения для ввода данных, которые используют сторонние источники данных, предоставляющие общедоступные данные. Эти данные включают такие элементы, как имена, местоположения в целом, адреса и идентификаторы компаний, а в некоторых случаях и отдельных людей. При работе с данными о продуктах используйте сторонние данные от торговых партнеров, когда это возможно.
• При решении проблем с данными приложите все усилия для внедрения соответствующих процессов и технологий, которые предотвратят возникновение проблем как можно ближе к точке ввода данных, а не будут зависеть от последующей очистки данных.
• Установите KPI качества данных, которые работают в тандеме с общими KPI для эффективности бизнеса. KPI качества данных, иногда называемые индикаторами качества данных (DQI), часто могут быть связаны с измерениями качества данных, такими как уникальность, полнота и согласованность.

Хотите стать аналитиком данных?

По данным Indeed, средняя базовая зарплата аналитика данных составляет 124197 долларов США в год. Ознакомьтесь с полным перечнем курсов по анализу данных от Simplilearn и начните новую, приносящую удовлетворение и вознаграждение карьеру!

Чем больше данных генерирует наш мир, тем больше спрос на аналитиков данных. Simplilearn предлагает магистерскую программу по аналитике данных, которая сделает вас экспертом в области аналитики данных. Этот курс сертификации аналитика данных, проводимый совместно с IBM, обучает вас ценным навыкам, таким как работа с базами данных SQL, создание визуализаций данных, языки R и Python, аналитические инструменты и методы, а также применение статистики и предиктивной аналитики в бизнес-среде.