Ростелеком (ADB - Arenadata BD)

2019: Создание единой технологической платформы

Масштаб проекта

• 115000 человеко-часов
• 3000 автоматизированных рабочих мест
• 500 абонентов

Цели

• Объединение федеральных ХД организацией информационного-аналитического пространства на базе единой отказоустойчивой масштабируемой платформы (ЦХД), как единого источника достоверной, интерпретируемой, качественной, актуальной информации по оптимальной стоимости
• Исполнение директивы Правительства по импортозамещению смещением баланса в сторону отечественного ПО, собственных разработок и open source
• Сокращение ТСО/TCC систем отчетности и аналитики
• Реализация в рамках ЦХД функции управления данными, методик консолидированной подготовки данных, ККД, бизнес-глоссария, интерпретации в бизнес-термины исходных данных, интеграция с MDM/RDM системами, предоставление data lineage, возможность impact анализа в границах полного жизненного цикла атрибутов
• Развитие культуры бизнес-аналитики, использования инструментов исследования данных (Predictive Analytics, ML, Text Mining), повышение монетизации данных, демократизации.
• Уменьшение T2M практиками прототипирования, self-service BI/ETL

Использованное ПО Store and Compute, DBMS:

• Hadoop (HDP),
• Hive,
• PostgreSQL,
• Oracle DB,
• Arenadata DB

В ходе проекта внедрены RDM и MDM системы, обеспечена интеграция с ЦХД, создан единый Глоссарий, составлен реестр отчетов, карта данных, разработан DG инструментарий, обеспечена демократизация данных. Определен целевой стек технологий, проведена закупка ПО, модернизация оборудования.TrafficSoft ADC: балансировщик нагрузки с высокой скоростью работы и минимальными аппаратными требованиями

Внедренное оборудование позволило кратно увеличить возможности платформы (24 узла GP, 65 HDP, 7.5 ПБ диск пространства). Платформа подготовлена к росту объема данных, числа пользователей BI, витрин, песочниц. Развернуты дополнительно несколько контуров (DEV/TEST), что с внедрением релизного процесса, практик CI/CD позволяет повысить качество конечных продуктов.

Переход на open source, собственную разработку сократили требуемый объем закупки лицензий проприетарных продуктов в несколько раз, что уменьшило бюджет проекта на миллионы долларов, позволило нивелировать корпоративные и санкционные риски.

Командам других подразделений предоставлен сервис self-service BI/ETL в качестве отдельной площадки для самостоятельной разработки и демонстрации прототипов («серый» контур). ЦХД обеспечивает инфраструктурой и поддержкой прикладного ПО, сторонние команды сосредоточены на процессах анализа и разработки. Согласованные заказчиком прототипы, претерпевая рефакторинг, переносятся далее на целевой контур, что существенно снижает T2M.