33 лучших вопроса и ответа на собеседование в IBM DataStage

DataStage — популярный инструмент ETL (Extract, Transform, Load) от IBM InfoSphere Information Server. DataStage используется организациями, работающими с большими наборами данных и хранилищами для интеграции данных из исходной системы данных в целевую систему. Основные должности DataStage — разработчик DataStage, разработчик ETL, менеджер по производству DataStage и т. д.

В этой статье мы поделились списком наиболее часто задаваемых вопросов для собеседования IBM DataStage и ответами на них. Эти вопросы и ответы для собеседования DataStage полезны как для новичков, так и для опытных профессионалов, чтобы взломать собеседования DataStage.

Эти вопросы будут охватывать такие ключевые концепции, как DataStage и Informatica, процедура DataStage, сравнение этапов поиска, соединение, слияние, настройка производительности заданий, таблица репозитория, преобразования типов данных, состояние качества, управление заданиями и т. д.

Основные вопросы для интервью DataStage

1. Самый простой вопрос интервью на dataStage — определение DataStage.

DataStage — это инструмент ETL, который извлекает, преобразует и загружает инструмент для серверов Windows для интеграции данных из баз данных в хранилище данных. Он используется для проектирования, разработки и запуска различных приложений для заполнения данными хранилищ данных и витрин данных. DataStage — это неотъемлемая часть IBM InfoSphere Data Integration Suite.

2. Каковы характеристики DataStage?

DataStage поддерживает преобразование больших объемов данных с использованием масштабируемого подхода параллельной обработки.

Он поддерживает большие данные Hadoop, получая доступ к большим данным разными способами, например, через распределенную файловую систему, поддержку JSON и интегратор JDBC.

DataStage прост в использовании, отличается повышенной скоростью, гибкостью и эффективностью интеграции данных.

При необходимости DataStage можно развернуть локально или в облаке.

3. Как заполняется исходный файл DataStage?

Исходный файл можно заполнить разными способами, например, создав SQL-запрос в Oracle или используя инструмент извлечения генератора строк.

4. Как выполняется слияние в DataStage?

Объединение или присоединение двух или более таблиц может быть выполнено на основе столбца первичного ключа в таблицах.

5. Один из наиболее часто задаваемых вопросов на собеседовании по dataStage: в чем разница между DataStage 7.0 и 7.5?

DataStage 7.5 поставляется со многими новыми этапами, добавленными в версию 7.0 для повышения стабильности и более плавной работы. Новые функции включают в себя этап команды, этап процедуры, генерацию отчета и многое другое.

6. Что такое файлы данных и дескрипторов?

Файл данных содержит только данные, тогда как файл дескриптора содержит всю информацию или описание данных в файлах данных.

7. Один из наиболее часто задаваемых вопросов на собеседовании по DataStage — «В чем разница между DataStage и Informatica?».

DataStage и Informatica — мощные инструменты ETL. В то время как DataStage имеет концепцию параллелизма и раздела для конфигурации узлов, Informatica не поддерживает параллелизм в конфигурации узлов. DataStage проще в использовании, чем Informatica, но Informatica более масштабируема.

8. Что такое рутина и какие бывают типы?

Подпрограмма — это набор функций, определяемых менеджером DataStage. Существует 3 типа подпрограмм, а именно параллельные подпрограммы, подпрограммы мэйнфрейма и подпрограммы сервера.

9. Как писать параллельные процедуры.

Параллельные процедуры могут быть написаны на компиляторе C или C++. Мы также можем создавать такие процедуры в DS manager и вызывать их из стадии transformer.

10. Как удаляются дубликаты в DataStage?

Функцию сортировки можно использовать для удаления дубликатов в DataStage. При запуске функции сортировки пользователь должен указать опцию, которая допускает дубликаты, и установить ее в значение false.

11. В чем разница между этапами объединения, слияния и поиска?

Эти концепции отличаются друг от друга тем, как они используют память, сравнивают входные требования и обрабатывают разные записи. Join и Merge требуют меньше памяти, чем Look up.

12. Как преобразовать серверное задание в параллельное задание в DataStage?

Мы можем преобразовать серверное задание в параллельное задание с помощью IPC-сборщика и сборщика ссылок.

13. Что такое разъем HBase?

Это инструмент, используемый для соединения баз данных и таблиц, которые присутствуют в базе данных HBase. Его можно использовать для выполнения таких задач, как:

Чтение данных в параллельном режиме

Чтение/запись данных из базы данных HBase и в нее.

Использовать HBase в качестве таблицы просмотра

14. Какие шаги следует предпринять для улучшения заданий DataStage?

Во-первых, нам нужно установить базовые показатели. Также, нам не следует использовать только один поток для тестирования производительности. Работа должна выполняться постепенно. Оцените перекосы данных и, после этого, изолируйте и решайте проблемы одну за другой. Затем распределите файловые системы, чтобы избежать узких мест, если таковые имеются. Не включайте СУРБД в начале фазы тестирования. Наконец, определите и изучите

доступные ручки настройки.

15. Каково состояние качества в DataStage?

Статистика качества используется для очистки данных с помощью инструмента DataStage. Это клиент-серверное программное обеспечение, предоставляемое как часть информационного сервера IBM.

16. Один из наиболее часто задаваемых вопросов на собеседовании на этапе сбора данных — «Определение контроля над работой».

Job control — это инструмент, используемый для управления заданием или выполнения нескольких заданий параллельно. Job Control Language в инструменте IBM datastage используется для развертывания управления заданиями.

17. Как выполнить настройку производительности задания DataStage?

Сначала мы выбираем правильные файлы конфигурации, раздел и буферную память. Мы заботимся о сортировке данных и обработке значений null-time. Мы должны попытаться использовать копирование, изменение или фильтрацию вместо преобразователя. Распространение ненужных метаданных между этапами должно быть сокращено.

18. Что такое таблица репозитория в DataStage?

Таблица репозитория или хранилище данных используется для ответа на специальные, исторические, аналитические или сложные запросы. Репозиторий может быть централизованным или распределенным.

19. Еще один часто задаваемый вопрос на собеседовании в DataStage: как можно закрыть вакансию DataStage?

Сначала нам нужно завершить работу индивидуального идентификатора обработки, чтобы завершить работу DataStage.

20. Сравните проверенный результат с скомпилированным процессом в DataStage.

Процесс Validated OK гарантирует, что соединения являются действительными, тогда как процесс Compiled гарантирует, что важные параметры этапа правильно сопоставлены, чтобы создать исполняемое задание.

21. Объясните преобразование типов данных в DataStage.

Мы можем использовать функцию преобразования данных для преобразования типов данных в DataStage. Мы должны убедиться, что входные или выходные данные для оператора и от него одинаковы. Плюс, схема записи должна быть совместима с оператором.

22. Что такое исключение деятельности?

Если во время выполнения последовательности заданий происходит незнакомая ошибка, выполняются все этапы, следующие за действием исключения. Следовательно, действие исключения очень важно в DataStage.

23. Кратко опишите архитектуру DataStage.

Архитектура DataStage следует модели клиент-сервер с различными типами архитектуры для разных версий. Основные компоненты модели:

Клиентские компоненты

Серверы

Работа

Этапы

Проекты

Определения таблиц

Контейнеры

Расширенные вопросы для собеседования DataStage

24. Какие функции командной строки могут помочь импортировать и экспортировать задания DS?

Dsimport.exe используется для импорта заданий DS, а dsexport.exe — для экспорта.

25. Назовите различные типы поиска в DataStage.

Существуют нормальный, разреженный, диапазонный и безрегистровый поиск.

26. Как запустить задание с помощью командной строки?

Вот как мы запускаем задание с помощью командной строки:

dsjob -run -jobstatus <имя проекта> <имя задания>

27. Что такое анализ использования?

Чтобы проверить, является ли определенное задание частью последовательности, щелкните правой кнопкой мыши по менеджеру задания и выберите «Анализ использования».

28. Еще один часто задаваемый вопрос на собеседовании по DataStage: в чем разница между последовательным файлом и хэш-файлом?

Файл хэша, основанный на алгоритме хэширования, может использоваться с ключевым значением. Однако последовательный файл не имеет столбца ключевого значения.

Хэш-файл может использоваться как ссылка для поиска, в то время как последовательный файл не может использоваться для поиска. Легче искать хэш-файл из-за наличия ключа хэша.

29. Как очистить репозиторий DataStage?

Перейдите в DataStage Manager > Job в строке меню > Очистить ресурсы.

Для дальнейшего удаления журналов перейдите к соответствующим заданиям и очистите файлы журналов.

30. Что означает NLS?

NLS означает National Language Support (Поддержка национальных языков). Это означает, что мы можем использовать инструмент DataStage на нескольких языках, таких как языки с многобайтовыми символами (китайский, японский, испанский). Можно читать или писать на любом языке.

31. Как можно удалить индекс перед загрузкой данных в целевой объект в DataStage?

Это возможно с помощью функции прямой загрузки утилиты SQL Loader Utility (sqlldr).

32. Какие сторонние инструменты можно использовать в DataStage?

Autosys, TNG и Event Coordinator — вот некоторые сторонние инструменты, которые можно использовать в DS.

33. Что такое коннектор Hive?

Коннектор Hive — это инструмент, который поддерживает режим раздела (режим раздела по модулю или режим раздела «максимум-максимум») при чтении данных.

Вы рассматриваете профессию в области науки о данных? Тогда получите сертификат Data Science Certification уже сегодня!

Если вы хотите узнать больше о науке о данных, рассмотрите возможность записаться на наш первоклассный курс для специалистов по данным от Simplilearn — лучшего в мире онлайн-учебного лагеря.