Вопросы и ответы на собеседовании разработчиков ETL в 2024 году

ETL (Extract, Transform, and Load) — это трехэтапный компьютерный процесс, включающий извлечение данных, их изменение (очистку, дезинфекцию и очистку) и, наконец, подачу их в выходной контейнер данных. Данные могут быть собраны из многих источников и отправлены в ряд мест назначения. Обработка ETL часто выполняется с помощью программного обеспечения, хотя системные администраторы могут выполнять ее и вручную. Весь метод автоматизирован с использованием прикладного программного обеспечения ETL, которое может запускаться вручную или по повторяющемуся графику в виде отдельных задач или в виде пакета заданий.

Процесс ETL оказался популярным в 1970-х годах и в настоящее время используется в хранилищах данных. Решения ETL обычно объединяют данные из многих приложений (систем), которые обычно производятся и поддерживаются отдельными поставщиками или размещаются на разном компьютерном оборудовании. Другие заинтересованные стороны обычно отвечают за управление и эксплуатацию отдельных систем, которые состоят из исходных данных. Например, система учета затрат может включать данные из заработной платы, продаж и закупок.

Вопросы и ответы на собеседовании разработчиков ETL

ETL — это заметная тенденция в наши дни, с множеством перспектив работы и конкурентоспособными пакетами оплаты. Чтобы помочь ищущим работу, мы предоставили полную коллекцию вопросов и ответов для интервью ETL как для новичков, так и для опытных кандидатов. Мы приложили все усилия, чтобы предоставить подробные ответы на каждый из вопросов. В следующих частях мы рассмотрим вопросы и ответы для интервью ETL один за другим.

1. Пожалуйста, объясните концепцию ETL.

ETL — это аббревиатура, которая расшифровывается как Extraction (извлечение), Transformation (преобразование) и Loading (загрузка). Это важная идея в системах хранилищ данных. Процесс интеграции данных делится на три основных этапа. Извлечение — это процесс получения информации из нескольких источников данных, таких как транзакционные системы или приложения. Процесс применения правил преобразования к данным для их пригодности для аналитической отчетности называется преобразованием. Процедура загрузки включает передачу данных в целевую систему, которой является хранилище данных.

2. Что такое ETL-тестирование?

Почти каждая организация в настоящее время в значительной степени полагается на данные, и это хорошо! С надежными и субъективными данными мы можем понять больше, чем с помощью человеческого разума. Важно время. Обработка данных, как и любая другая система, подвержена ошибкам. Какая польза от данных, если часть их отсутствует, неадекватна или неактуальна?

Вот тут-то и вступает в игру тестирование ETL. ETL обычно признается критически важным элементом проектирования хранилища данных в бизнес-операциях. ETL, или интеграция корпоративных данных, берет данные из исходных систем, преобразует их в согласованный формат данных и помещает в единый репозиторий.

Это требует проверки, квалификации и оценки данных после извлечения, преобразования и загрузки данных. Мы проводим ETL-тестирование, чтобы гарантировать, что последние данные были импортированы в систему правильно. Это гарантирует, что данные дойдут до места назначения безопасно и в отличном состоянии, прежде чем будут вставлены в ваши отчеты Business Intelligence (BI).

3. Каковы этапы процесса тестирования ETL?

1. Понимание бизнес-требований

2. Определите источники данных

3. Разработайте тестовые случаи

4. Аутентификация извлеченных данных

5. Проверка преобразования данных

6. Проверьте загруженные данные.

7. Выполнить тест

8. Подготовьте сводный отчет и анализ результатов

9. Тестовое закрытие

4. Назовите различные типы тестирования ETL.

1. Проверка производства

2. Тестирование количества источников и целей

3. Тестирование исходных и целевых данных

4. Тестирование метаданных

5. Тестирование производительности

6. Тестирование преобразования данных

7. Проверка качества данных

8. Тестирование интеграции данных

9. Отчет о тестировании

5. Объясните термины «хранилище данных» и «интеллектуальный анализ данных».

Хранилище данных подразумевает сбор огромного количества данных из разных источников для принятия решений. Добыча данных относится к извлечению значимых закономерностей из имеющихся данных.

6. Что такое разбиение?

Разделение помогает лучше управлять объектами базы данных, разделяя область хранения и организуя данные более удобно. Когда хранилище данных разделено, поиск и доступ к данным происходит быстрее.

7. Опишите трехуровневую архитектуру цикла ETL.

В цикле ETL задействованы три уровня:

1. Промежуточный слой — это слой, на котором хранятся данные, извлеченные из нескольких источников.

2. Уровень интеграции данных — это уровень, который преобразует данные и перемещает их из промежуточного уровня на уровень базы данных.

3. Уровень доступа — это уровень, используемый конечным пользователем для восстановления данных, которые могут быть использованы для аналитической отчетности.

8. Сравните схемы «звезда» и «снежинка».

Схемы Star и Snowflake являются многомерными моделями. Схема Star включает таблицы фактов и размерностей и имеет звездообразную структуру. С другой стороны, схема Snowflake состоит из таблиц фактов, таблиц подизмерений и трехмерных таблиц, объединенных в структуру, напоминающую снежинку. В то время как схема Star по сути является моделью сверху вниз, схема Snowflake является моделью снизу вверх. По сравнению со схемой Star схема Snowflake более сложная, имеет больше внешних ключей и меньше повторений.

9. Объясните, что вы понимаете под термином «зерно факта».

«Зерно факта» — термин, используемый для описания уровня фактов, на котором информация хранится в таблице фактов.

10. Что такое очистка данных?

Очистка данных — это процесс постоянного удаления и изъятия данных из хранилища данных. Устранение нежелательных данных освобождает хранилище и память.

11. Что такое таблица без фактов?

Таблица без фактов — это таблица, которая не содержит никаких фактов или мер. Ее цель — продемонстрировать отношения между измерениями. Таблица без фактов не содержит текстовых или числовых данных.

12. Что такое медленно меняющиеся измерения (SCD)?

Медленно изменяющиеся измерения (SCD) — это измерения, которые хранят и управляют текущими и прошлыми данными в хранилище данных. Эти данные в SCD изменяются очень медленно с течением времени и не изменяются в соответствии с каким-либо предопределенным графиком.

13. Что такое представление источника данных?

Представление источника данных определяет реляционную схему, которая используется для проведения анализа в базах данных. Кубы и измерения также могут быть созданы с использованием представления источника данных вместо того, чтобы строиться из объектов источника данных. Это позволяет пользователям создавать измерения по сути и обеспечивает превосходный контроль над структурами данных.

14. Объясните, что подразумевается под очисткой данных.

Очистка данных — это процесс поиска и устранения поврежденных и ошибочных данных, а также ошибок в данных из-за дублирования и недостаточности. Это также известно как очистка или скраббинг данных.

15. Что такое BI (бизнес-аналитика)?

Бизнес-аналитика подразумевает сбор, хранение и анализ данных с целью преобразования необработанных данных в полезную информацию, которую можно использовать для принятия более обоснованных бизнес-решений.

16. Какова важность тестирования ETL?

Тестирование ETL имеет ряд существенных преимуществ, включая следующие:

• Обеспечьте быструю и эффективную передачу данных из одной системы в другую.
• Тестирование ETL также может обнаруживать и предотвращать проблемы с качеством данных, такие как дублирование или потеря данных, в ходе процессов ETL.
• Проверяет, что процесс ETL не затруднен и функционирует гладко.
• Точный результат гарантируется за счет внедрения всех данных в соответствии со спецификациями клиента.
• Чтобы гарантировать бесперебойную и безошибочную передачу

17. Когда нам нужна промежуточная область в процессе ETL?

Посредник между источниками данных и системами хранилищ/витрин данных называется «областью хранения». Она служит временным репозиторием данных в процессе интеграции данных. Данные очищаются и проверяются на наличие дубликатов в промежуточной области. Промежуточная область предназначена для предоставления различных преимуществ, но ее основная цель — быть использованной. В результате она используется для повышения производительности путем обеспечения целостности и качества данных.

18. Что такое OLAP-кубы и кубы?

Таблицы фактов и измерения из хранилища данных составляют строительные блоки куба. Он предоставляет многочисленные аналитические варианты.

Данные хранятся в многомерной форме в кубе OLAP, что означает Online Analytical Processing. Он состоит из фактов, известных как измерения, которые организованы в категории на основе их измерений.

19. Укажите роли и обязанности тестировщика ETL.

Спрос на тестировщиков ETL растет с каждым днем, поскольку тестирование ETL оказалось настолько важным. Тестировщики ETL извлекают информацию, проверяют источники данных, немедленно загружают данные в соответствующие таблицы и применяют логику преобразования. Ниже перечислены основные обязанности тестировщика ETL:

• Глубокие знания инструментов и процессов ETL.
• Тщательно протестируйте программу ETL.
• Изучите компонент тестирования хранилища данных.
• Запустите бэкэнд-тестирование на основе данных.
• Создавайте и запускайте тестовые случаи, стратегии тестирования и средства тестирования, а также многое другое.
• Распознает проблемы и рекомендует наилучшие решения.
• Рассмотрение и утверждение требований и спецификаций проекта.
• Разработка SQL-запросов для тестирования.
• Необходимо выполнить ряд тестов, включая основные ключи, значения по умолчанию и проверки других операций, связанных с ETL.
• Проводите регулярные проверки качества.

20. Объясните, что такое рынок данных.

В корпоративном хранилище данных можно создавать «витрины данных», чтобы лучше обслуживать потребности конкретных бизнес-подразделений или отделов. Используя витрину данных, вы можете быстро и легко получить доступ к подмножеству данных хранилища данных более широким кругом пользователей, чем это было бы возможно в противном случае.

В некоторых случаях компания может иметь хранилище данных, связанное с функциями закупок, продаж или управления запасами компании.

21. Что вы подразумеваете под конвейером ETL?

Из-за его огромной важности вы должны ожидать некоторых вопросов о конвейере ETL в вопросах интервью по тестированию ETL. Конвейеры ETL, как следует из названия, являются средствами, посредством которых выполняются процессы ETL. Некоторые функции и действия необходимы для перемещения данных из нескольких источников в хранилище данных для анализа, составления отчетов и синхронизации данных.

Некоторые из преимуществ включают в себя:

• Конвейеры ETL могут получить конкурентное преимущество
• Облегчает перенос данных из старых систем в новые.
• Это сокращает количество ошибок, замедлений и задержек, обеспечивая бесперебойную передачу информации между системами.
• Аналитики и лица, принимающие решения, могут легко получить доступ к данным и использовать их благодаря конвейеру ETL, поскольку он централизует и стандартизирует данные.

22. Что вы подразумеваете под ODS (хранилищем оперативных данных)?

Между хранилищем данных и промежуточной зоной Operational Data Store выполняет функцию хранилища данных. Он загружает все данные в Enterprise Data Warehouse. Преимущества Operational Data Store обычно связаны с корпоративными операциями, поскольку он предоставляет чистые и обновленные данные из многочисленных источников в одном месте. В отличие от других баз данных, база данных Operational Data Store доступна только для чтения и не может быть обновлена ​​пользователями.

23. Что такое промежуточная зона и какова ее основная функция?

В процессе ETL используется промежуточное пространство хранения, называемое промежуточной зоной или зоной посадки. Оно служит буфером между источником данных и хранилищем данных. При извлечении данных промежуточные зоны используются в основном для минимизации влияния соответствующих источников данных.

После загрузки данные преобразуются, проверяются и очищаются в промежуточной области с использованием нескольких источников данных.

24. Объясните таблицы карт ETL.

Каждый столбец в исходной и целевой таблицах, а также их поиск в справочных таблицах часто включаются в таблицы сопоставления ETL.

Большие запросы с несколькими объединениями могут быть необходимы во время тестирования ETL на любом этапе процесса тестирования, чтобы гарантировать правильность данных. Листы сопоставления ETL существенно облегчают написание запросов проверки данных.

25. Как используется ETL-тестирование при обработке сторонних данных?

Поставщики всех мастей создают разнообразный спектр программного обеспечения для крупных корпораций. В результате ни один поставщик не несет ответственности за весь процесс. Для иллюстрации представьте себе телекоммуникационный проект, в котором одна компания занимается выставлением счетов, а другая — управлением взаимоотношениями с клиентами (CRM).

Теперь CRM-системы могут получать каналы данных от других компаний, например, если CRM-системе нужна платежная информация от другой компании. В результате вы можете использовать метод ETL для загрузки данных из канала.

26. Каковы преимущества тестирования ETL?

Ниже перечислены некоторые из заметных преимуществ, которые подчеркиваются при продвижении тестирования ETL:

• Обеспечьте своевременный и эффективный перенос данных из одной системы в другую.
• Тестирование ETL также может обнаружить и избежать проблем с качеством данных, таких как дублирование данных или потеря данных во время процедур ETL.
• Гарантирует, что процесс ETL проходит успешно и без сбоев.
• Убедитесь, что все данные реализованы в соответствии со спецификациями клиента и что выходные данные являются точными.
• Гарантирует безопасную и полную транспортировку больших объемов данных в новое место.

27. Каковы мероприятия по тестированию ETL?

Тестирование ETL включает в себя следующее:

• Проверяет, правильно ли преобразованы данные в соответствии с потребностями бизнеса.
• Убедитесь, что прогнозируемые данные помещаются в хранилище данных без потери или усечения данных.
• Проверьте, предоставляет ли приложение ETL неверные данные и использует ли оно настройки по умолчанию.
• Убедитесь, что данные загружаются в нужном диапазоне времени, чтобы повысить масштабируемость и производительность.

28. Упомяните многочисленные типы приложений хранилищ данных и различие между хранилищем данных и интеллектуальным анализом данных.

Ниже перечислены многочисленные виды приложений хранилищ данных:

• Сбор данных
• Аналитическая обработка
• Обработка информации

Data Mining — это процедура извлечения скрытых предиктивных данных из массивных баз данных и интерпретации данных, тогда как хранилище данных может использовать data mine для более быстрой аналитической обработки данных. Data Warhousing — это процедура консолидации данных из многочисленных источников в один общий репозиторий.

29. Объясните, что такое промежуточная зона и для чего она служит.

Размещение данных — это временное хранение данных на сервере хранилища данных. В размещении данных участвуют следующие этапы.

• Назначение суррогатных ключей
• Преобразование данных (преобразование стоимости, очистка данных)
• Преобразование данных и извлечение исходных данных (реструктуризация)

30. Объясните термины — рабочий процесс, маплет, ворклет и сеанс.

• Рабочий процесс: это набор инструкций, указывающих серверу, как выполнять задачи.
• Маплет: организует или создает наборы преобразований.
• Ворклет: обозначает определенный набор задач.
• Сеанс: это набор параметров, который инструктирует сервер о том, как передавать данные из источников в пункты назначения.

31. Что такое хранилище данных в реальном времени?

• Что касается хранилища данных, все хранилище обновляется каждый раз, когда система совершает транзакцию.
• Он отображает бизнес-данные в режиме реального времени.
• Это означает, что при выполнении запроса на складе будет возвращен текущий статус бизнеса.

32. Объясните, что такое ETL-валидатор.

Валидатор ETL — это, как правило, инструмент тестирования данных, который упрощает тестирование проектов хранилища данных, миграции данных и интеграции данных. Он использует запатентованную архитектуру EV для извлечения, загрузки, а также проверки данных из баз данных, XML, плоских файлов, систем бизнес-анализа и Hadoop.

33. Какую функцию играет анализ воздействия в системе ETL?

Анализ воздействия обычно проверяет метаданные, связанные с объектом (например, столбцом или таблицей в данном случае), и оценивает, на что влияет изменение его содержимого или структуры. Изменение элементов подготовки данных может нарушить критически важные операции для правильной загрузки хранилища данных. Разрешение на нерегламентированные изменения объектов подготовки данных наносит ущерб успеху вашего проекта. Перед внесением любых изменений в таблицу, которая была создана в области подготовки, вы должны выполнить анализ воздействия. Большинство поставщиков инструментов ETL предлагают возможности анализа воздействия, но эта функция часто упускается в процессе проверки концепции объекта ETL, поскольку это внутренняя функция, которая не имеет большого значения, пока хранилище данных не будет полностью запущено и не начнет расширяться.

34. Какие операторы SQL можно использовать для полной проверки данных?

Для проверки полноты данных используйте команды intersect и minus. Когда вы запускаете score minus target, а также target minus score вместе с запросом minus и возвращаете результат, это указывает на наличие несовпадающих строк.

Если запрос на вычитание возвращает значение, а пересечение счетчиков меньше целевой таблицы или счетчика оценок, то имеется дублирующая запись.

35. Объясните работу хэш-разделения.

Сервер Informatica в Hash Partitioning будет использовать хэш-функцию для разделения ключей с целью упорядочивания данных между разделами. Она используется для проверки того, что все строки в одном разделе имеют один и тот же ключ разбиения.

36. Что такое конвейер данных?

Любое устройство обработки, передающее данные из одной системы в другую, называется конвейером данных. Конвейер данных может помочь любому приложению, которое использует данные для предоставления ценности. Он может использоваться для соединения данных между приложениями, создания управляемых данными онлайн-продуктов и выполнения действий по добыче данных. Конвейер данных создается инженерами по обработке данных.

37. Что именно представляет собой профилирование данных в концепции системы ETL?

Профилирование данных — это тщательное изучение качества, широты и контекста источника данных с целью построения системы ETL. С одной стороны, чистый источник данных, который тщательно поддерживался до поступления в хранилище данных, требует меньше преобразований, а также участия человека для прямой загрузки в окончательные таблицы измерений и таблицы фактов.

38. Какие типы данных используются в системе ETL?

Наборы данных XML, плоские файлы, нормализованные схемы E/R (сущность/связь), отдельные рабочие таблицы СУБД и многомерные модели данных — вот лишь некоторые из форматов данных, используемых в ETL.

39. Чем таблица измерений отличается от таблицы фактов?

Таблицы фактов включают статистику и информацию о компании. Таблицы измерений связаны с таблицами фактов внешним ключом и отображают описательные свойства фактов, содержащихся в них. Таблицы измерений многословны и сложны, тогда как таблицы фактов гранулярны.

40. Какие проблемы возникают при тестировании ETL?

Чтобы минимизировать узкие места на поздних этапах конвейера, крайне важно выявить возможные трудности на ранних этапах процесса ETL. Некоторые из наиболее типичных трудностей и проблем тестирования ETL:

• Потеря, повреждение или дублирование данных во время передачи
• Низкая эффективность из-за огромного количества прошлых данных
• Недостижимые бизнес-цели
• Исходных данных не хватает.
• Устаревшие инструменты ETL.

41. Что именно представляет собой регрессионное тестирование в ETL?

Регрессионное тестирование используется после создания функциональных исправлений хранилища данных. Его главная цель — определить, затруднили ли исправления другие аспекты процедуры ETL. Регрессионное тестирование всегда должно проводиться после внесения изменений в систему, чтобы убедиться, что не возникло никаких новых проблем.

Часто задаваемые вопросы

1. Назовите некоторые тестовые случаи ETL.

1. Проверка структуры

2. Проверка ограничений

3. Проверка на нуль

4. Проверка достоверности данных

5. Проверка согласованности данных

6. Дублирующая проверка

2. Каковы типы разделов ETL?

1. Циклическое разбиение

2. Разделение хэша

3. Что такое витрина данных?

Data mart — это подмножество хранилища данных, выделенное для бизнес-функции или отдела. Это упрощает пользователям поиск определенных данных, а не поиск по всему хранилищу данных.

4. Что такое материализованное представление?

Материализованное представление — это объект базы данных, который включает результат запроса. Он предварительно вычисляет результат и ускоряет выборку данных.

5. Что такое объекты схемы?

Объекты схемы — это объекты базы данных, такие как таблицы, представления, индексы, синонимы, ссылки на базу данных и т. д. Это логические структуры, созданные пользователями, которые могут содержать данные или определения и организованы в такие модели, как схема «звезда» или «снежинка».

6. Что такое схема шины?

Схема BUS ищет стандартные измерения в бизнес-процессах таким же образом, как распознаются совместимые измерения. Она содержит стандартное определение фактов, а также стандартное измерение.

7. Что такое рабочий процесс?

Набор инструкций, объясняющих, как выполнить задачу, называется рабочим процессом.

8. Что такое сессия?

Сеанс — это набор инструкций, описывающих поток данных от источника к месту назначения.

9. Что вы понимаете под термином «Картирование»?

Картографирование отображает поток данных от источника к цели.

10. Кратко опишите термин «маплет».

Маплет — это многократно используемый объект, который создает и строит набор преобразований.

11. Объясните термин «ворклет».

Набор задач называется ворклетом.

12. Назовите некоторые из доступных инструментов ETL.

1. Информатика PowerCenter

2. IBM InfoSphere DataStage

3. Интегратор данных Oracle

4. Открытая студия Talend

5. Службы данных SAP

6. Менеджер данных SAS

7. Службы интеграции Microsoft SQL Server

8. Хадуп

9. Интеграция данных Pentaho

10. Фабрика данных Azure

13. Какие типы фактов существуют в ETL?

1. Добавка

2. Полуаддитивный

3. Неаддитивный

14. Назовите некоторые ошибки ETL.

1. Ошибка расчета

2. Ошибка ввода/вывода

3. Ошибка исходного кода

4. Ошибка контроля версий

5. Ошибка пользовательского интерфейса

6. Ошибка состояния загрузки

15. Сколько таблиц фактов в схеме «звезда»?

Один

16. Какие модули есть в Power Mart?

1. Конструктор PowerMart

2. Сервер

3. Менеджер сервера

4. Репозиторий

5. Менеджер репозитория

17. Каковы 5 этапов тестирования ETL?

Тестирование ETL состоит из пяти этапов:

• Определение источников данных и требований
• Сбор данных
• Реализация бизнес-логики и размерного моделирования
• Компиляция и заполнение данных
• Создавать отчеты

18. Каковы три уровня тестирования ETL?

Типичное тестирование ETL для хранилищ данных использует промежуточные области, уровни интеграции данных и уровни доступа для выполнения своих задач.

19. Что такое ETL в тестировании?

ETL означает извлечение данных из исходной системы, преобразование их в стандартный тип данных и загрузку в единый репозиторий.

20. Требуется ли SQL для тестирования ETL?

Да. При выполнении ETL-тестирования вы часто сравниваете десятки миллионов записей. Необходимо тестировать данные из разных источников. При сравнении данных могут потребоваться сложные SQL-запросы из-за частого преобразования данных.

21. Каковы вопросы собеседования по процессу ETL?

С высоким спросом на тестирование ETL возникает и высокая потребность в экспертизе для выполнения этих процессов тестирования ETL. В настоящее время для этой процедуры доступны различные вакансии.

Однако вас будут рассматривать на эту должность только в том случае, если вы хорошо разбираетесь в технологических особенностях и приложениях. Чтобы сделать свою лучшую попытку, вы должны хорошо разбираться в этих фундаментальных идеях инструментов, методологий и процедур ETL.

Ниже приведены некоторые часто задаваемые вопросы на собеседованиях по тестированию ETL:

• Что такое ЭТЛ?
• Зачем нужно тестирование ETS?
• Каковы обязанности тестировщика ETL?
• Что такое измерения?
• Объясните таблицы картирования ETL.
• Укажите несколько ошибок ETL.

22. Что должны знать разработчики ETL?

Разработчик ETL должен иметь:

• Опыт работы с инструментами ETL
• Опыт работы в области архитектуры/администрирования баз данных/базы данных
• Экспертиза в анализе данных
• Опыт работы в области разработки программного обеспечения
• Навыки устранения неполадок

23. Требуется ли разработчику ETL умение кодировать?

Разработчик ETL должен иметь минимум два года опыта программирования хотя бы на одном из языков программирования. Также требуется опыт работы с инструментами ETL, а также с перемещением информации и агрегацией данных.

24. Каков жизненный цикл ETL?

ETL — это, по сути, процедура извлечения данных из неоптимизированных источников данных и перемещения их на централизованный хост. Конкретные фазы операции могут отличаться в зависимости от инструментов ETL, но конечный результат тот же.

Процесс ETL требует извлечения данных, преобразования, а также загрузки. Хотя этот термин предполагает чистую трехшаговую процедуру — извлечение, преобразование и загрузка — это упрощенное объяснение упускает:

• Передача данных
• Каждый из этих этапов накладывается друг на друга.
• Какие новые технологии позволяют изменить этот поток?