Сокращаем трудозатраты при выводе витрин на Hadoop
Привет, друзья! Я Олег Васильев, владелец продукта Dream DE. В этой статье расскажу, как мы научились быстро и эффективно выводить витрины на Hadoop в эксплуатацию, или как мы за один квартал вывели 26 инициатив в рабочую среду силами четырёх инженеров по данным.
Витрина данных: сверка с эталоном
Одним из этапов разработки витрин данных является тестирование результата и подтверждение корректности разработанного функционала. При этом организовано тестирование может быть по-разному. Определим несколько видов тестирования: 1. Технические тесты Техническими тестами легко можно проверить корректность сборки витрины. Из основных видов технических тестов можно выделить: · Дубли - проверка на наличие дублей по ключу · Разрывы - проверка на разрывы в истории · Перекосы - проверка наложения исторических записей друг на друга · Даты - проверка корректности формирования дат · NULL в ключе - проверка NULL в ключевых и обязательных к заполнению полях Подробно на этих тестах останавливаться не будем, информация по ним есть в открытом доступе. 2. Бизнес-тесты Это набор тестовых запросов, направленных на выявление ошибок в бизнес-данных. Как правило набор бизнес-тестов предоставляет владелец объекта. Бизнес-тестов может быть великое множество, здесь все зависит от вашего бизнес-домена и от конкретных требований к витрине. Приведу примеры некоторых бизнес-тестов:
