Apache Kafka

Продукт
Разработчики: Apache Software Foundation (ASF)
Дата последнего релиза: 2014/04/29
Технологии: СУБД

Содержание

Apache Kafka - распределённый программный брокер сообщений, проект с открытым исходным кодом[1].

2024: Интеграция в «Гарда Deception 1.10.0»

Разработчики интегрировали «Гарда Deception 1.10.0» с брокером сообщений Apache Kafka. Теперь система обнаруживает подозрительные попытки авторизации в домене и автоматически создает инцидент информационной безопасности с уведомлением ответственных лиц. Обновления помогают повысить оперативность реагирования на угрозы. Об этом разработчик сообщил 26 августа 2024 года. Подробнее здесь.

2020: Доступность Yandex Managed Service for Apache Kafka в Яндекс.Облаке

Платформа Яндекс.Облако открывает доступ к сервису Yandex Managed Service for Apache Kafka, который упрощает для разработчиков и DevOps-инженеров создание и управление приложениями в Яндекс.Облаке, и не требует экспертизы в управлении инфраструктурой Apache Kafka и Apache Zookeeper. Сервис работает в режиме preview, бесплатный доступ предоставляется по запросу. Об этом стало известно 28 июля 2020 года. Подробнее здесь.

2019: Модель развития с привлечением многих заинтересованных сторон

Одной из ключевых потребностей современных ИТ является возможность потоковой передачи данных в реальном времени. Именно для этих целей предназначена платформа Apache Kafka, которая может передавать потоковые данные об истории посещений веб-сайтов, финансовые транзакции и журналы приложений в приложения, разработанные на платформах Apache Spark Streaming, Apache Storm или Apache Samza. Kafka была разработана LinkedIn и в использует модель развития с привлечением многих заинтересованных сторон. По данным ASF, платформа применяется многими крупными компаниями, включая Airbnb, LinkedIn, MailChimp, Netflix, New York Times, Oracle, PayPal, Pinterest, Spotify, Twitter и Uber.

2015: Свойства Apache Kafka

Разработан в рамках Apache Software Foundation. Написан на языке программирования Scala.

Свойства

  • изначально проектировался, как распределённая система, которую легко масштабировать,
  • поддерживает высокую пропускную способность, как со стороны источников, так и для систем-подписчиков,
  • поддерживает объединение подписчиков в группы,
  • обеспечивает возможность временного хранения данных для последующей пакетной обработки.

Одна из особенностей - применение техники, сходной с журналами транзакций, используемых в системах управления базами данных.

Вначале продукт разрабатывала компания LinkedIn, исходные коды проекта открыты в начале 2011 года.Бизнес уходит в облако: стратегии и подходы

Продукт распространяется под лицензией Apache License 2.0.

Примечания



ПРОЕКТЫ (15) ПРОЕКТЫ НА БАЗЕ (4) ИНТЕГРАТОРЫ (11)
РЕШЕНИЕ НА БАЗЕ (1) СМ. ТАКЖЕ (148)

ЗаказчикИнтеграторГодПроект
- FM Logistic (ФМ Ложистик)
К2 Тех2023.09Описание проекта
- Министерство сельского хозяйства (Минсельхоз России)
ФОРС - Центр разработки2023.03Описание проекта
- Банк ВТБ
Синимекс (Cinimex)2022.09Описание проекта
- Газпромбанк Мобайл (ГПБ Мобайл)
GlowByte, ГлоуБайт (ранее Glowbyte Consulting, ГлоуБайт Консалтинг)2021.12Описание проекта
- Bereke Bank (ранее Сбербанк Казахстан)
Инфосистемы Джет2021.03Описание проекта
- Новолипецкий металлургический комбинат, НЛМК
Инфосистемы Джет2020.05Описание проекта
- Mediascope (Медиаскоп, ранее TNS Россия, ТНС Гэллап Медиа)
Неофлекс (Neoflex)2020.02Описание проекта
- Новолипецкий металлургический комбинат, НЛМК
Инфосистемы Джет2019.08Описание проекта
- Первая Экспедиционная Компания (ПЭК)
Неофлекс (Neoflex)2019.05Описание проекта
- Атон Инвестиционная компания
Без привлечения консультанта или нет данных2017.09Описание проекта
- РТС-тендер
Венчур инжиниринг лаб (Venture Engineering Lab, Ve-Lab)---Описание проекта
- Почта России
Без привлечения консультанта или нет данных---Описание проекта
- Банк Санкт-Петербург
Без привлечения консультанта или нет данных---Описание проекта
- Северсталь
Lenovo, Microsoft---Описание проекта
- Банк ВТБ
Айтеко (Ай-Теко, iTeco)---Описание проекта



Подрядчики-лидеры по количеству проектов

За всю историю
2021 год
2022 год
2023 год
Текущий год

  SAP CIS (САП СНГ) (38)
  Softline (Софтлайн) (35)
  РДТЕХ (33)
  BeringPro (БерингПойнт) ранее BearingPoint Russia (28)
  ФОРС - Центр разработки (25)
  Другие (733)

  Сапиенс солюшнс (Sapiens solutions) (7)
  Navicon (Навикон) (3)
  BeringPro (БерингПойнт) ранее BearingPoint Russia (3)
  GlowByte, ГлоуБайт (ранее Glowbyte Consulting, ГлоуБайт Консалтинг) (2)
  IFellow (АйФэлл) (2)
  Другие (35)

  РДТЕХ (1)
  IBS (1)
  Ред Софт (Red Soft) (1)
  InnoSTage (Инностейдж) (1)
  Сбербанк-Технологии (СберТех) (1)
  Другие (20)

  Arenadata (Аренадата Софтвер) (5)
  Тантор Лабс (Tantor Labs) (3)
  ФОРС - Центр разработки (2)
  Ред Софт (Red Soft) (1)
  Digital Design (Диджитал Дизайн) (1)
  Другие (18)

  Arenadata (Аренадата Софтвер) (5)
  GlowByte, ГлоуБайт (ранее Glowbyte Consulting, ГлоуБайт Консалтинг) (2)
  Диасофт (Diasoft) (2)
  Центр Финансовых Технологий (ЦФТ) (1)
  GMCS (1)
  Другие (16)

Распределение вендоров по количеству проектов внедрений (систем, проектов) с учётом партнёров

За всю историю
2021 год
2022 год
2023 год
Текущий год

  Oracle (44, 179)
  SAP SE (6, 178)
  Microsoft (23, 142)
  PostgreSQL Global Development Group (14, 126)
  Постгрес профессиональный (ППГ, Postgres Professional) (6, 40)
  Другие (263, 242)

  SAP SE (3, 11)
  Microsoft (3, 11)
  PostgreSQL Global Development Group (3, 10)
  Oracle (2, 4)
  Постгрес профессиональный (ППГ, Postgres Professional) (2, 3)
  Другие (10, 13)

  PostgreSQL Global Development Group (4, 9)
  Постгрес профессиональный (ППГ, Postgres Professional) (2, 6)
  VK Tech (ранее VK Цифровые технологии, ВК Цифровые технологии и Mail.ru Цифровые технологии) (2, 3)
  Arenadata (Аренадата Софтвер) (3, 2)
  Oracle (2, 2)
  Другие (9, 9)

  PostgreSQL Global Development Group (3, 13)
  Постгрес профессиональный (ППГ, Postgres Professional) (1, 6)
  Arenadata (Аренадата Софтвер) (3, 5)
  Apache Software Foundation (ASF) (3, 4)
  Тантор Лабс (Tantor Labs) (2, 3)
  Другие (8, 10)

  PostgreSQL Global Development Group (4, 11)
  Arenadata (Аренадата Софтвер) (3, 6)
  VMware (2, 6)
  Постгрес профессиональный (ППГ, Postgres Professional) (2, 5)
  Сбербанк-Технологии (СберТех) (2, 2)
  Другие (5, 7)

Распределение систем по количеству проектов, не включая партнерские решения

За всю историю
2021 год
2022 год
2023 год
Текущий год

  Oracle Database - 106
  Microsoft SQL Server - 104
  SAP NetWeaver Business Warehouse (SAP BW/4HANA) - 103
  PostgreSQL СУБД - 80
  SAP HANA (High Performance Analytic Appliance) - 72
  Другие 374

  Microsoft SQL Server - 9
  SAP NetWeaver Business Warehouse (SAP BW/4HANA) - 8
  PostgreSQL СУБД - 7
  Oracle Database - 3
  SAP HANA (High Performance Analytic Appliance) - 3
  Другие 21

  Postgres Pro СУБД - 5
  ADB - Arenadata DB - 2
  PostgreSQL СУБД - 2
  Tarantool Платформа in‑memory вычислений - 2
  Oracle Database - 2
  Другие 13

  Postgres Pro СУБД - 6
  PostgreSQL СУБД - 4
  ADB - Arenadata DB - 3
  Tantor СУБД - 3
  Apache Kafka - 2
  Другие 10

  PostgreSQL СУБД - 5
  ADB - Arenadata DB - 5
  Postgres Pro СУБД - 3
  Diasoft Digital Q.Database - 2
  ADH - Arenadata Hadoop - 2
  Другие 9