Разработчики: | ITSumma (Сумма АйТи) |
Технологии: | Big Data |
Содержание |
Основная статья: Большие данные (Big Data)
ITS Data Processing Platform - решение в сфере обработки больших данных, которое можно развернуть в рамках отдельного проекта или использовать как часть подсистемы проектов по автоматизации, созданию интеллектуальных систем и систем мониторинга.
2023
Включение в реестр отечественного ПО
17 октября 2023 года под номером № 19542 в Единый реестр российских программ для ЭВМ и баз данных включена платформа ITS DPP. Об этом компания ITSumma (Сумма АйТи) сообщила 31 октября 2023 года.
ITS DPP (ITS Data Processing Platform) — это платформа для анализа, хранения и обработки больших данных на базе ПО с открытым исходным кодом. Стек решения включает в себя: Apache Kafka, Apache Spark, Apache Airflow, Apache Hadoop, Greenplum, Apache Superset Redash, Prometheus.Как Threat Intelligence помогает бизнесу бороться с таргетированными кибератаками
ITS DPP будет полезна, если необходимо:
- Построить систему хранения, обработки и анализа данных с нуля.
- Быстро развернуть инфраструктуру для хранения и анализа данных.
- Создать витрины данных, организовать процессы обработки данных, реорганизовать хранение данных.
- Оптимизировать структуру, снизить издержки и избежать при этом ресурсных потерь.
С помощью платформы дата-инженеры смогут:
- Создать Data Lake или Data Warehouse для хранения структурированных и неструктурированных данных.
- Организовать сбор данных из разнородных источников в единое хранилище
- Настроить ETL/ELT преобразования.
- Организовать проверку качества данных.
- Настроить потоковую и пакетную обработку данных.
- Организовать контроль и доставку кода для обработчиков данных.
- Настроить дашборды с разными уровнями доступа для различных подразделений.
Решение построено по модульному принципу. Модули отвечают за отдельные задачи, такие как сбор, обработка, хранение и преобразование данных. В полной комплектации ITS DPP может обрабатывать данные пакетным или потоковым методом, хранить необработанные, структурированные и неструктурированные данные различного объема, формировать витрины данных. Вместе с платформой поставляется модуль управления и мониторинга отдельных компонентов.
ITS DPP полностью отечественная разработка и замещает многие зарубежные решения.
Решаемые задачи
На февраль 2023 года платформа ITS DPP решает следующие задачи:
- Построение системы хранения, обработки и анализа данных с нуля, при этом гибкость подхода позволяет сформировать решение любой сложности и мощности.
- Построение достоверных графиков в реальном времени по большим объемам данных.
- Автоматизированное построение отчетов для минимизации человеческого фактора.
- Минимизация времени «простоя» производства, увеличение ежегодной добычи энергоресурсов и снижение убытков от неэффективного использования оборудования.
- Оптимизация производственной цепочки и снижение ошибок при прогнозировании спроса, снижение убытков от хранения избыточных оборотных средств, убытков от задержек в производстве.
- Переезд с проприетарного стека ПО на open-source-компоненты, для поддержки которых легко найти инженеров на рынке.
- Запуск MVP/пилотных версий проектов, требующих наличия системы обработки и анализа данных.
- Переезд с зарубежных облачных BigData-сервисов.
Подрядчики-лидеры по количеству проектов
БизнесАвтоматика НПЦ (120)
Большая Тройка (46)
Сбербанк (14)
Умная Логистика (14)
Доверенная среда (13)
Другие (472)
Доверенная среда (5)
Большая Тройка (4)
Цифра (4)
БизнесАвтоматика НПЦ (3)
Ростелеком (3)
Другие (54)
БизнесАвтоматика НПЦ (12)
OneFactor (Уанфактор) ЕдиныйФактор (3)
РИР (Росатом Инфраструктурные решения) (3)
Яндекс (Yandex) (2)
Мегапьютер Интелидженс (Megaputer Intelligence) (2)
Другие (44)
Распределение вендоров по количеству проектов внедрений (систем, проектов) с учётом партнёров
БизнесАвтоматика НПЦ (2, 119)
Большая Тройка (2, 46)
Умная Логистика (2, 14)
Доверенная среда (1, 13)
Сбербанк (10, 10)
Другие (250, 129)
Доверенная среда (1, 5)
Большая Тройка (2, 4)
Цифра (1, 4)
БизнесАвтоматика НПЦ (1, 3)
Умная Логистика (2, 2)
Другие (6, 8)
БизнесАвтоматика НПЦ (1, 12)
РИР (Росатом Инфраструктурные решения) (2, 3)
Мегапьютер Интелидженс (Megaputer Intelligence) (1, 2)
МегаФон (2, 1)
Нетрика Медицина (1, 1)
Другие (7, 7)
БизнесАвтоматика НПЦ (1, 5)
РИР (Росатом Инфраструктурные решения) (3, 4)
Сбербанк (2, 2)
Цифра (1, 2)
DataCatalog (ДатаКаталог) (1, 2)
Другие (15, 16)
БизнесАвтоматика НПЦ (1, 7)
Сбербанк (3, 3)
Цифра (1, 2)
DataCatalog (ДатаКаталог) (1, 2)
Luxms (1, 2)
Другие (16, 16)
Распределение систем по количеству проектов, не включая партнерские решения
Visary BI Платформа бизнес-аналитики - 119
Большая Тройка: АИС Редактор территориальных схем - 39
Доверенная среда: Триафлай BI-платформа - 13
ZIIoT Платформа для работы с промышленными данными - 10
Luxms BI - 8
Другие 130
Доверенная среда: Триафлай BI-платформа - 5
ZIIoT Платформа для работы с промышленными данными - 4
Visary BI Платформа бизнес-аналитики - 3
EMC Greenplum Data Computing Appliance - 2
Большая Тройка: АСУ Управление отходами - 2
Другие 10
Visary BI Платформа бизнес-аналитики - 12
Росатом Цифровое теплоснабжение - 2
PolyAnalyst Платформа визуальной разработки сценариев анализа данных и текстов - 2
N3.Аналитика - 1
МегаФон: Аналитика городской среды - 1
Другие 6