Red Hat Ceph Storage

Ceph Storage - пакет программно-конфигурируемого объектного и файлового облачного хранилища.

Ceph — свободная программная объектная сеть хранения. Она обеспечивает файловый и блочный интерфейсы доступа. Может использоваться в системах, действующих в составе кластера из нескольких Linux-машин или тысяч узлов. Встроенные механизмы продублированной репликации данных обеспечивают высокую живучесть системы, при добавлении или удалении узлов массив данных автоматически балансируется с учётом сделанных изменений. Такое разделение позволяет оптимизировать затраты за счет использования недорогих серверов и жестких дисков и реализовать объектные хранилища класса «web-scale» для современных сценариев использования. Кроме того, в новой версии значительно повышается гибкость и масштабируемость СХД для поддержки мультипетабайтных массивов данных.

Обработка данных и метаданных в Ceph разделена на различные группы узлов в кластере, примерно как это сделано в Lustre, с тем различием, что обработка делается на уровне пользователя, не требуя особой поддержки от ядра операционных систем узлов. Ceph может работать поверх блочных устройств, внутри одного файла или используя действующую файловую систему узла (например, XFS).

Программные системы хранения данных Red Hat Ceph Storage и Red Hat Gluster Storage – это мощные и гибкие решения, ориентированные на поддержку рабочих нагрузок определенных типов. Так, Red Hat Ceph Storage представляет собой надежную унифицированную платформу хранения для объектных хранилищ и облачных инфраструктур с массивами данных петабайтных размеров. В свою очередь, Red Hat Gluster Storage является мощной распределенной файловой системой для организации гибких служб хранения данных для дата-центров на основе физических серверов, виртуальных машин, частных и общедоступных облачных сред, а также инфраструктур контейнерных приложений. Оба эти решения не требуют специализированного оборудования для развертывания, активно поддерживаются сообществом разработки ПО с открытым кодом и компаниями-партнерами, а также широко применяются в корпоративном секторе по всему миру.

2020: Red Hat Ceph Storage 4

12 марта 2020 года компания Red Hat сообщила о выпуске Red Hat Ceph Storage 4, обновленной версии своего объектного хранилища, которое обеспечивает масштабирование до уровня петабайт и предназначено для облачно-ориентированных приложений и систем аналитической обработки данных. Решение базируется на релизе Nautilus проекта open source сообщества Ceph.

По информации компании, благодаря повышенной масштабируемости и обновленным, упрощающим эксплуатацию функциям, Red Hat Ceph Storage 4 помогает представителям самых разных отраслей, включая финансовый сектор, госучреждения, автоиндустрию и телекоммуникационные компании, более эффективно поддерживать такие задачи, как разработка приложений, анализ данных, искусственный интеллект (AI), машинное обучение (ML) и другие виды рабочих нагрузок следующего поколения.

Предоставляя организациям возможность развернуть объектные хранилища петабайтного размера, совместимые с Amazon S3 (Simplified Storage Service), Red Hat Ceph Storage позволяет масштабировать производительность при сохранении всех преимуществ облачной экономики. В ходе недавнего внутреннего тестирования последняя версия Red Hat Ceph Storage продемонстрировала более чем двукратный прирост производительности для рабочих нагрузок с интенсивной записью данных, подтвердив свою важность для удовлетворения требований современных приложений, активно оперирующих большими объемами данных.ИТ-директор «Роснефти» Дмитрий Ломилин выступит на TAdviser SummIT 28 ноября

Следующее поколение рабочих нагрузок, связанных с обработкой данных, увеличивает нагрузку на инфраструктуры хранения и делает их более сложными, что резко повышает роль автоматизации для эксплуатации таких инфраструктур, особенно при их масштабировании. За счет более высокого уровня автоматизации при управлении и размещении данных, Red Hat Ceph Storage 4 помогает ИТ-специалистам плавно перейти от фокусированных на хранилищах данных моделей инфраструктуры к сервисно-ориентированным схемам, чтобы расширить спектр поддерживаемых приложений и целевую аудитории систем хранения. Развитые возможности самосопровождения и самовосстановления Red Hat Ceph Storage 4 в области автоматизированной репликации, восстановления и инициализации систем (provisioning) улучшают не только масштабируемость, но и показатели непрерывности бизнеса.

Red Hat Ceph Storage 4 оптимизирован под запросы клиентов на эффективное хранение и управление быстро растущими объемами данных, генерируемых современными рабочими нагрузками, без привлечения дополнительного операционного персонала. Red Hat Ceph Storage 4 предлагает ИТ-командам упрощенную и интуитивно понятную эксплуатацию, располагая для этого целым рядом обновленных функций:

• Упрощенная процедура установки – стандартная установка занимает менее 10 минут.
• Обновленная веб консоль управления (management dashboard) – унифицированный и высокоуровневый контроль операций в любой момент времени помогает ИТ-специалистам оперативно выявлять и решать возникающие проблемы.
• Обновленная функция мониторинга качества услуг – подтверждение QoS-показателей хранилища данных с позиции приложений в мультитенантной облачной среде.
• Интегрированные bucket-уведомления – поддержка оптимизированных для Kubernetes serverless-архитектур для автоматизации конвейеров обработки данных.

На март 2020 года Red Hat Ceph Storage 4 уже доступен для скачивания.

2018: Переход проекта под крыло Linux Foundation

В ноябре 2018 года Red Hat сообщила о передаче проекта распределенного хранилища Ceph под покровительство организации Linux Foundation. Об этом решении было объявлено спустя примерно две недели после продажи Red Hat корпорации IBM.

Финансированием, развитием инфраструктуры Ceph и поддержкой связанного с проектом сообщества в рамках Linux Foundation займется новая организация Ceph Foundation, объединившая более 30 участников. Среди них — Red Hat, SUSE, Intel, Canonical, China Mobile, DigitalOcean, OVH, Western Digital и ZTE. Также эта некоммерческая организация заменит консультативный совет Ceph Advisory Board.

Red Hat отдала Linux Foundation проект распределенного хранилища Ceph

Предполагается, что после превращения Ceph в независимый проект Ceph Foundation создаст нейтральную площадку, в рамках которой будет развиваться и управляться технология. При этом данная площадка не будет привязана к предпочтениям каких-либо производителей и будет способствовать более тесному взаимодействию с сообществом.

Управляющая структура Ceph Leadership Team по-прежнему будет принимать связанные с развитием проекта технические решения. Ее представитель войдет в управляющий совет Ceph Foundation и станет своего рода связующим звеном в процессе разработки.

У Ceph есть многолетний опыт в реализации успешных проектов, которые помогают компаниям эффективно управлять быстрорастущими и расширяющимися потребностями в хранении данных, — говорит исполнительный директор Linux Foundation Джим Землин. — Под крылом Linux Foundation организация Ceph Foundation сможет приспособить инвестиции от более широкой группы компаний, чтобы помочь с поддержкой инфраструктуры, которая необходима для сохранения успеха и стабильности экосистемы Ceph.

К ноябрю 2018 года Ceph пользуется немало крупных компаний, в том числе BMW, SAP и Salesforce.com.^[1]

2017: Red Hat Ceph Storage 2.3

В июне 2017 года Red Hat, поставщик решений с открытым кодом, объявила о выпуске Red Hat Ceph Storage 2.3, новой версии программно-определяемой системы хранения данных (СХД). Система, построенная на основе открытого проекта Ceph 10.2 (Jewel), теперь совместима с клиентом файловой системы Hadoop S3A, поддерживает протокол Network File System (NFS) и может быть развернута в контейнерах. Эти новшества повышают универсальность объектного хранилища Ceph Storage, позволяя использовать его как для систем аналитической обработки больших данных (Big Data), так и для работающих с файлами нагрузок. Новая версия Ceph Storage представляет собой очередной шаг Red Hat к созданию гибкой и эластичной СХД, которая может быть оптимизирована для широкого круга корпоративных задач и вычислительных сред.

Данная версия Red Hat Ceph Storage получила эффективный NFS интерфейс для Ceph Object Gateway. Это позволит пользователям и приложениям, в зависимости от решаемых задач и имеющихся инструментов, обращаться к одним и тем же наборам данных как по объектному S3, так и по файловому NFS интерфейсам. Используя мульти-сайтовые возможности Red Hat Ceph Storage, можно обеспечить доступ к данным в глобальных кластерах по протоколу NFS. В результате, клиенты, использующие Ceph Storage в качестве файлового хранилища, получают гибкость, масштабируемость и экономическую эффективность объектного хранилища в ходе постепенной модернизации системы хранения данных.

Совместимость с клиентом файловой системы Hadoop S3A позволяет использовать объектное хранилище Red Hat Ceph Storage в системах аналитической обработки больших данных, таких как Apache Hadoop MapReduce, Hive и Spark. Благодаря этому пользователи смогут оценить все его преимущества: управление жизненным циклом объектов и метаданными, сокращение затрат за счет эффективного резервирования данных с использованием erasure coding, а также возможность масштабировать вычислительные мощности и емкости хранения независимо друг от друга.

Кроме того, Red Hat Ceph Storage теперь поддерживает развертывание в контейнерах. Контейнерный образ продукта, который функционально не отличается от традиционного пакета, можно загрузить на сайте Red Hat Container Registry. Контейнерная версия Ceph Storage вместе с системой автоматизации Red Hat Ansible позволяет выполнять установку и обновление продукта как атомарные операции, что упрощает управление и ускоряет развертывание программно-определяемых СХД.

2016: Red Hat Ceph Storage 2

22 июня 2016 года Red Hat анонсировала выход Ceph Storage 2 - программно-определяемой СХД, созданной на платформе версии СПО-проекта Ceph Jewel (v10.2.0). В релизе обещаны повышение производительности обработки объектных нагрузок и удобство работы пользователей ^[2].

Компоненты Ceph (2016)

Реализована поддержка POSIX-совместимой файловой системы Ceph Filesystem (CephFS), которая способна хранить данные в кластерах распределенной системы Ceph Storage Cluster. На первых порах CephFS будет иметь статус tech preview и сможет использоваться в IaaS-инфраструктурах на базе OpenStack и облачного сервиса разделяемой файловой системы Manila. Появились возможности, полезные для корпоративных конфигураций объектного хранения и обеспечивающие повышенную масштабируемость, защищенность и строгую совместимость с общепринятыми API-интерфейсами.

Особенности релиза

• работа с глобальными объектными кластерами, поддерживающими единое пространство имен и синхронизацию данных между кластерами, развернутыми в разных регионах;
• повышенная защищенность за счет интеграции с такими популярными системами аутентификации, как Active Directory, LDAP и OpenStack Identity (Keystone) v3;
• тесная совместимость со средами Amazon S3 и OpenStack Object Storage (Swift), включая поддержку AWS v4 Client Signatures, версионность объектов и массовое их удаление.

Продукт оснастили консолью управления Red Hat Storage Console 2. Утверждается, что она упрощает как развертывание СХД Ceph, управление ею: время разворачивания сокращается с суток до часов.

Выпуск коммерческой версии Red Hat Ceph Storage 2 заявлен на лето 2016 года.

История

Проект системы создал Сейдж Уэйл (Sage Weil) в 2007 году в рамках докторской диссертации. Позже к созданию системы подключились другие разработчики. Развивая и коммерциализируя систему в 2012 году Уэйл основал фирму Inktank ^[3].

Примечания