Название базовой системы (платформы): | VMware Virtual Infrastructure |
Разработчики: | VMware |
Дата премьеры системы: | октябрь 2013 года |
Дата последнего релиза: | 2022/09/01 |
Технологии: | Cloud Computing, Виртуализация, СХД |
Содержание |
VMware Virtual SAN - технология виртуализации ресурсов хранения с прямым подключением, объединяющая серверные диски и флэш-накопители в общее распределенное хранилище данных для виртуальных машин с высокой производительностью и отказоустойчивостью.
2022: VMware vSAN 8
1 сентября 2022 года компания VMware объявила о выпуске решения для организации отказоустойчивых кластеров виртуальных хранилищ VMware vSAN 8.
По информации компании, в VMware vSAN 8.0 появилось:
Обновленная архитектура vSAN Express Storage Architecture
В vSAN 8 появилась архитектура гиперконвергентной инфраструктуры vSAN Express Storage Architecture (ESA). Она позволяет достичь оптимальных показателей производительности и эффективности на базе высокопроизводительных систем хранения.
С помощью флэш-памяти TLC на основе технологии NVMe, архитектура ESA имеет множество возможностей со стандартной vSAN Original Storage Architecture (OSA), которая также продолжит поддерживаться для стандартного на сентябрь 2022 года оборудования (устройства SATA/SAS).
Ключевыми структурными особенностями vSAN 8 ESA является переработанная и запатенованная файловая система (log-structured file system, LFS), обновленный оптимизированный для записи менеджер объектов (log-structured object manager), а также дополнительный формат дисковых объектов.
Обновленные возможности ESA дают возможности в следующих аспектах:
- Performance without tradeoff. Здесь есть два основных момента, оптимизирующих производительность:
- Изменение структуры хранения и обработки данных для алгоритмов RAID 5/6 erasure coding. Теперь производительность RAID 5/6 близка к таковой на базе RAID-1. За счет LFS и дополнительного формата дисковых объектов обеспечивается интеграция данных и устойчивость к отказам при сохранении скорости канала чтения-записи.
- Intelligent I/O traffic management для сетевого трафика vSAN - теперь скорость процессинга трафика ввода-вывода близка к нативной для используемых устройств. Это достигается, в том числе, за счет адаптивной приоритизации трафика и его отсылки в моменты наименьшей загрузки канала.
- Supreme resource and space efficiency. Адаптивный алгоритм обработки данных на RAID-5, который проверяет количество хостов в кластере и выбирает оптимальный способ размещения данных (работает, начиная с трех хостов). vSAN ESA также имеет возможности обнаружения изменений хостов, что влечет за собой ревизию структур данных RAID-5 и изменения политик размещения данных. В этом случае RAID-5 использует меньше сырой емкости хранилищ при сохранении надежности и управляемости. Также были полностью переработаны механизмы сжатия данных, чтобы оптимизировать загрузку сети и нагрузку на CPU. Компрессия включена по умолчанию, и ее настройки можно изменять на уровне отдельных виртуальных машин с помощью политик хранилищ, вместо изменения конфигурации на уровне кластера.
Обновленный метод сжатия дает до 4x улучшение для каждого блока размером 4KB, если сравнивать с Original Storage Architecture. Также нагрузка на CPU существенно меньше у ESA, чем у OSA. Шифрование данных также происходит теперь на верхних слоях ядра vSAN. Поскольку шифрование проводится для уже сжатых данных, то процесс шифрования происходит только однажды, что означает, что потоки данных между хостами также зашифрованы. Это позволяет избавиться от лишних шагов decrypt/encrypt и дает меньше нагрузки на CPU и сеть, освобождая ресурсы на поддержание работы виртуальных машин.
- Intuitive, agile operations. Здесь два основных момента: Storage pool construct - vSAN 8 ESA, помимо концепции дисковых групп, дискретного кэширования и ярусов емкостей (capacity tiers), дает пользователям возможность объединить устройства в пул (storage pool), в котором все устройства пула хоста могут давать емкость в общую емкость инфраструктуры vSAN. Это оптимизирует операции по обслуживанию дисков и управлению доступностью данных (а также снижает затраты). Оптимизированное развертывание и оперирование ресурсами хранилищ - теперь появились автоматические проверки, которые позволяют понять, что архитектура ESA запущена на поддерживаемом оборудовании. Это уменьшит количество проблемных инсталляций.
- Ready-for-anything resilience. Этот пункт включает в себя масштабируемые и высокопроизводительные снапшоты, которые теперь делаются быстро и эффективно. Теперь снапшоты не так драматически влияют на производительность виртуальных машин, а время консолидации снапшотов уменьшилось очень значительно. Возможность native snapshot будет доступна не только в vSphere, но и для сторонних решений, использующий фреймворк VADP для резервного копирования ВМ.
Стандартная архитектура vSAN Original Storage Architecture
Классический vSAN 8 увеличил логический лимит емкости буффера почти в три раза - с 600 ГБ до 1.6 ТБ. Это позволит получит возможности более плотного размещения виртуальных машин при сохранении требуемого уровня производительности. Рабочие нагрузки теперь могут поддерживать режим максимальной производительности в течение больших периодов времени.TrafficSoft ADC: балансировщик нагрузки с высокой скоростью работы и минимальными аппаратными требованиями
Обе архитектуры vSAN - ESA и OSA
vSAN Proactive insights capability - пользователи vSAN 8 теперь получили более высокий уровень совместимости за счет функционала proactive insights, который оповещает обо всех потенциальных проблемах совместимости программного обеспечения и оборудования, даже если оно не участвует в программе Customer Experience Improvement Program. Эти изменения доступны для обеих архитектур.
Доступность для скачивания продуктов VMware Cloud Foundation+, VMware vSphere 8, VMware vSAN 8 и VMware Edge Compute Stack 2 ожидается до 28 октября 2022 года.
2021: VMware vSAN 7 Update 2
19 марта 2021 года компания VMware представила обновленную версию VMware vSAN 7 Update 2.
По информации компании, в обновленное решение vSAN 7 Update 2 включена технология HCI Mesh, работающая на основе программно-ориентированного подхода по дезагрегации ресурсов вычисления и хранения данных, который был впервые представлен в предыдущем обновлении vSAN 7 Update 1. Благодаря этому решению увеличилось число сценариев использования, что особенно актуально для пользователей, которые хотят оптимизировать эффективность использования ресурсов за пределами существующей среды vSAN. HCI Mesh позволяет кластерам, предназначенным исключительно для вычислений, или кластерам без технологии HCI удаленно использовать хранилище vSAN в дата-центре, что также позволяет масштабировать ресурсы вычисления и хранения данных независимо.
Версия vSAN 7 также предоставляет дополнительные возможности для более эффективной поддержки различных сетевых топологий. Они включают в себя функции решения VMware Distributed Resource Schedule (DRS) для достижения более стабильной производительности при восстановлении после сбоев, а также поддержку файловых служб vSAN для «растянутых» кластеров и кластеров с двумя узлами.
Дополнительно VMware продолжает внедрять функции, ориентированные на увеличение производительности vSAN 7, такие как vSAN over Remote Direct Memory Access (RDMA) и оптимизацию кодов удаления для RAID 5/6, которые снижают утилизацию процессора и обеспечивают прирост производительности определенных типов приложений.
Чтобы оптимизировать общую безопасность приложений, запущенных в контейнерах, решение vSphere 7 Update 2 представляет конфиденциальные контейнеры для модуля vSphere Pods на базе оборудования AMD и технологии Secure Encrypted Virtualization-Encrypted State (SEV-ES). Для традиционных сред обновленное решение vSphere 7 Update 2 теперь включает vSphere Native Key Provider, который обеспечивает базовые возможности сервера KMS и оптимизируют работу с функцией шифрования. Кроме того, в обновленную версию vSphere 7 встроена проверка на соответствие стандарту FIPS для служб VMware vCenter Server, что оптимизирует проведение аудитов.
VMware vSAN предоставляет командам разработки функции самообслуживания для предоставления ресурсов хранения для контейнеров при разработке и развертывании приложений, при этом обеспечивая прозрачность и надзор для эффективной эксплуатации инфраструктуры.
2020: VMware vSAN 7.0
12 марта 2020 года компания VMware объявила о будущем релизе обновленной версии VMware vSAN 7.0 - решения для организации отказоустойчивых хранилищ для виртуальных машин на базе локальных хранилищ хост-серверов VMware ESXi.
Изменения и дополнения в обновленной версии VMware vSAN 7, отмеченные разработчиком:
- Интеграция с vSphere Lifecycle Manager (vLCM) для обновления кластеров. Ранее администраторы vSphere использовали Update Manager (VUM) для обновлений платформы и драйверов, а утилиты от производителей серверов для обновления их микрокода (firmware). В представленной версии эти процессы объединяются в единый механизм под управлением vSphere Lifecycle Manager:
vLCM можно использовать для применения установочных образов, отслеживания соответствия (compliance) и приведения кластера к нужному уровню обновлений. Это упрощает мониторинг инфраструктуры на предмет своевременных обновлений и соответствия компонентов руководству VMware Compatibility Guide (VCG) за счет централизованного подхода на уровне всего кластера, подчеркнули в VMware.
- Службы Native File Services for vSAN. С помощью служб Native File Services кластер vSAN поддерживает управление внешними хранилищами NFS v3 и v4.1. Это позволяет использовать их совместно с другими возможностями, такими как службы iSCSI, шифрование, дедупликация и компрессия. Через интерфейс vCenter можно управлять всем жизненным циклом хранилищ на базе разных технологий и превратить его в средство контроля над всей инфраструктурой хранения.
- Развертывание приложений с использованием Enhanced Cloud Native Storage. Cloud Native Storage (CNS) - это функциональность VMware vSphere и платформы оркестрации Kubernetes (K8s), которая позволяет по запросу развертывать и обслуживать хранилища для виртуальных машин, содержащих внутри себя контейнеры. Это платформа для управления жизненным циклом хранения для контейнеризованных приложений. В обновленной версии эти функции получили еще большее развитие. Тома persistent volumes могут поддерживать шифрование и снапшоты. Также полностью поддерживается vSphere Add-on for Kubernetes (он же Project Pacific), который позволяет контейнеризованным приложениям быть развернутыми в кластерах хранилищ vSAN.
- Прочие улучшения:
- Integrated DRS awareness of Stretched Cluster configurations. DRS отслеживает, что виртуальная машина находится на одном сайте во время процесса полной синхронизации между площадками. По окончании процесса DRS перемещает машину на нужный сайт в соответствии с правилами.
- Immediate repair operation after a vSAN Witness Host is replaced. Процедура замены компонента Witness, обеспечивающего защиту от разделения распределенного кластера на уровне площадок, значительно упростилась. В интерфейсе vCenter есть кнопка "Replace Witness", с помощью которой можно запустить процедуру восстановления конфигурации и замены данного компонента.
- Stretched Cluster I/O redirect based on an imbalance of capacity across sites. В растянутых кластерах vSAN можно настраивать защиту от сбоев на уровне отдельных ВМ за счет выделения избыточной емкости в кластере. В результате на разных площадках могут оказаться разные настройки, и появится дисбаланс по доступной емкости и нагрузке по вводу-выводу. vSAN 7 позволяет перенаправить поток ввода-вывода на менее загруженную площадку прозрачно для виртуальных машин.
- Accurate VM level space reporting across vCenter UI for vSAN powered VMs. В vSAN 7 есть возможности точной отчетности о состоянии хранилищ для виртуальных машин, точно так же, как и для остальных хранилищ в представлениях Cluster View и Host View.
- Improved Memory reporting for ongoing optimization. В интерфейсе и через API доступна метрика потребления памяти во времени. Она позволяет понять, как меняется потребление памяти при изменениях в кластере (добавление и удаление хостов, изменение конфигурации).
- Visibility of vSphere Replication objects in vSAN capacity views. vSAN 7 позволяет администраторам идентифицировать объекты vSphere Replication на уровне виртуальных машин и кластеров, что упрощает управление ресурсами для нужд репликации.
- Support for larger capacity devices. vSAN 7 поддерживает новые устройства хранения большой емкости и плотности носителей.
- Native support for planned and unplanned maintenance with NVMe hotplug. Для устройств NVMe доступна функция горячего добавления и удаления, что позволяет сократить время и упростить процедуру обслуживания.
- Removal of Eager Zero Thick (EZT) requirement for shared disk in vSAN. Общие диски в vSAN не требуется создавать в формате EZT, что ускоряет развертывание в кластере vSAN нагрузок, таких как, например, Oracle RAC.[1]
2019: Анонс выпуска VMware vSAN 6.7 Update 3 и издания Enterprise Plus
14 августа 2019 года стало известно, что компания VMware объявила о скором выпуске обновленной версии решения для создания отказоустойчивых кластеров хранилищ - VMware vSAN 6.7 Update 3. Основная тема изменений - поддержка облачных сред размещения виртуальных машин (ВМ) и работа с контейнеризованными приложениями.
Поддержка контейнеров приложений в облачных средах
Как отметили в VMware, контейнеры стали одной из главных моделей распространения приложений в облачной среде. Сама технология контейнеризации упрощает развертывание и обслуживание приложений, выделяя их в микросервисы, но все процессы вокруг них становятся сложнее (оркестрация, организация персистентных хранилищ, сетевая коммуникация).
vSAN 6.7 Update 3 имеет встроенные инструменты по организации постоянных хранилищ для контейнеров приложений, в том числе в облачных средах. Технология vSAN cloud native storage поддерживает все ключевые API-вызовы к хранилищам внутри кластеров Kubernetes через драйвер Container Storage Interface (CSI). Разработчики смогут применять политики хранилищ SPBM при развертывании новых pods и монтировании томов с постоянными хранилищами, точно так же, как они делают это с виртуальными дисками машин.
Согласно заявлению разработчика, если используются тома Virtual Volumes на платформе vSAN, то можно получить еще больше преимуществ:
- Развертывание хранилищ контейнеров через API параллельно с самими контейнерами.
- Возможность портирования приложений между частным и публичным облаком в рамках гибридной среды с поддержкой одного набора операций и инструментов.
Нативная гибридная среда инфраструктуры vSAN
Со слов VMware, гибридные среды становятся очень распространенной моделью доставки ИТ-сервисов, так как именно сочетание частного и публичного облаков дает самый большой эффект с точки зрения масштабирования и обеспечения показателей качества предоставления услуг. При этом администраторы хотят, чтобы приложения Docker также имели возможность бесшовно перемещаться между публичным и частным облаками со всеми их хранилищами.
vSAN в представленной версии предоставит интеграцию с облачными провайдерами, включая «большую четверку» Amazon, Microsoft, Google и IBM, которая позволит использовать тот же набор средств и утилит vSAN для хранилищ контейнеров в облаке, что и в частной инфраструктуре, утверждают в VMware.
Унифицированные средства управления vSAN для контейнеров и виртуальных машин
В одной виртуальной машине может быть много контейнеров приложений, вплоть до нескольких сотен. При возникновении проблем с хранилищем для одного из контейнеров становится очень сложно понять ее причину. Обновленная версия vSAN предоставляет администраторам гранулярную видимость внутри ВМ до уровня контейнеров, что позволяет мониторить состояние отдельных хранилищ контейнеров на уровне томов для каждого из них.
В рамках единого пространства хранения можно анализировать использование емкости виртуальными машинами и контейнерами:
Все это позволит командам DevOps быстрее решать проблемы с хранилищами контейнеризованных приложений через стандартную консоль vSphere Client, подчеркнули в VMware.
Интеллектуальные средства управления вводом-выводом
Со слов разработчика, обновленная версия vSAN еще более эффективно работает при обмене данными между буффером на чтение (write buffer) и пространством хранения (capacity tier). Особенно заметна эта оптимизация для последовательных операций записи (что очень актуально для процессов ресинхронизации и восстановления данных).
Адаптивная ресинхронизация идет в рамках множества параллельных потоков, что увеличивает ее эффективность:
Также в vSAN 6.7 U3 появились дополнительные метрики, касающиеся использования CPU хост-серверов ESXi (особенно актуально для дедупликации, шифрования и компрессии). Кроме того, появилась команда vsantop, которая показывает эти и многие другие полезные метрики:
Прочие улучшения vSAN 6.7 Update 3, отмеченные разработчиком:
- Механизмы управления емкостью были улучшены таким образом, чтобы запускать операцию ресинхронизации на базе доступной емкости. Если какая-то дисковая группа заполнена, то операции ресинхронизации ставятся на паузу, чтобы предотвратить повреждения хранилищ.
- Администратор может выбрать опцию автоматической или ручной ребалансировки данных в кластере. Так как каждая инфраструктура индивидуальна, доступна тонкая настройка механизма ребалансировки, в зависимости от потребностей администратора.
- Применения политик SPBM идут пачками, что ускоряет производительность при изменении структуры политик.
- Выполнение обслуживания или изменения конфигурации во время операций ресинхронизации может привести к неправильному завершению этого процесса, поэтому в SAN 6.7 U3 клиент vSphere Client лучше понимает, когда выполняется этот процесс, и не дает мешать ему.
- Механизм pre-check симуляции, который позволяет администратору понять, что произойдет в случае изменения конфигурации кластера или его обслуживания.
- При изменении конфигурации шифрования, компрессии или дедупликации требуется изменения формата дисков (Disk format changes, DFC). Если для этого процесса недостаточно ресурсов, то специальная проверка даст знать об этом еще до выполнения операции.
- vSAN сам предлагает обновиться на новый мажорный релиз или накатить обновления.
- Ранее vSAN требовал, чтобы vCenter был той же версии или более новый, в представленной версии поддержка прошлых версий vCenter стала более гибкой.
- В vSAN 6.7 U3 проще включить vSAN Support Insight и взаимодействовать с поддержкой VMware.
- iSCSI LUN, презентованные из vSAN, можно ресайзить без необходимости переводить том в оффлайн.
- SCSI-3 persistent reservations (SCSI-3 PR) дают возможность нативной поддержки кластеров Windows Server Failover Clusters (WSFC), требующих общего диска.
Также в августе стало известно, что VMware, как и для многих других продуктов, вводит издание Enterprise Plus для платформы vSAN. Эта лицензия будет включать в себя комбинацию продукта vSAN Enterprise и средства управления облачной средой vRealize Operations Advanced.
Все это даст следующую функциональность в связке двух решений:
- Географически растянутые кластеры с возможностями локальной защиты и синхронной репликацией.
- Средства нативного шифрования vSAN Encryption с поддержкой дедупликации и компрессии. В качестве провайдеров KMIP можно использовать такие решения, как CloudLink, Hytrust, SafeNet, Thales и Vormetric.
- Постоянная оптимизация производительности с возможностями предиктивной аналитики и проактивного планирования.
- Возможность интеллектуального решения проблем и продвинутый траблшутинг на базе аналитики метрик и логов с использованием средств обзора приложений на уровне всей инфраструктуры.[2]
2018: VMware vSAN 6.7 Update 1
6 сентября 2018 года стало известно, что VMware анонсировала решение для создания отказоустойчивых хранилищ на базе серверов VMware vSAN 6.7 Update 1.
1. Мастер Cluster quickstart.
Мастер создания кластера включает в себя следующие процессы:
- Развертывание сервисов, таких как vSphere HA, vSphere DRS и vSAN.
- Добавление хостов (несколько хостов одновременно).
- Тип развертывания vSAN.
- Сетевая конфигурация, включая vSphere Distributed Switching и Enhanced vMotion Compatibility (EVC).
- Конфигурация дисковых групп.
- Сервисы дедупликации, компрессии и шифрования.
2. Обновление драйверов и firmware через Update Manager.
Через vSphere Update Manager (VUM) можно обновить микрокод контроллера ввода-вывода с помощью утилиты обновления драйверов от вендора сервера. Таким образом, обновление драйвера I/O-адаптера можно включить в цикл обновления хоста и не заниматься этим отдельно.
Также VUM будет поддерживать кастомные OEM-образы от производителей серверов, а также офлайн процедуры обновления хостов ESXi.
Если VUM не нашел утилиты обновления от вендора, он предлагает загрузить ее.
3. Механизмы защиты при выводе хостов из эксплуатации и переводе в режим обслуживания.
В vSAN 6.7 U1 появились предварительные проверки при переводе хостов в режим обслуживания (Maintenance mode) и выводе из эксплуатации (Decomission). В этом случае с помощью симуляции проверяется, смогут ли все машины хоста успешно переместиться на другие серверы, и только в этом случае запускается реальный процесс.
Это устраняет временные затраты на потенциально неуспешные попытки операций с хост-серверами.
Добавлены оповещения о том, что идет процесс синхронизации и о том, что в режиме обслуживания нет других серверов в кластере. Кроме этого, была добавлена настройка "object repair timer delay", которая задает интервал времени до начала операций по ребилду кластера vSAN для приведения в соответствие с политиками хранилища.
4. Разные представления vROPs для обычных и растянутых кластеров vSAN.
При интеграции с решением vRealize Operations 7.0 в интерфейсе vCenter есть два разных представления для обычных и растянутых кластеров, в которых показываются разные метрики и инсайты.
5. Улучшенные возможности Capacity reporting.
Отчеты по используемой емкости дают информацию о доступном хранилище, в зависимости от выбранной политики хранилищ.
Также можно посмотреть, сколько хранилища потребуется, если отключить функции дедупликации и компрессии, так же можно посмотреть историю использования пространства в кластере vSAN с учетом изменений в коэффициентах дедупликации и компрессии.
6. Поддержка TRIM/UNMAP.
Это возможности по возвращению неиспользуемого дискового пространства обратно в доступную емкость vSAN. Возможности TRIM/UNMAP позволяют вернуть пространство в кластер для множества гостевых ОС и конфигураций машин.
7. Поддержка режима Mixed MTU для растянутых кластеров.
В vSAN 6.7 появилась возможность выделить трафик Witness на отдельный аплинк серверов, а в Update 1 добавили функцию конфигурации MTU Size для трафика Witness отдельно от MTU Size для межсайтового трафика.
8. Обновленные средства для сайзинга инфраструктуры.
vSAN 6.7 Update 1 предоставляет пользователям улучшенные средства по планированию инфраструктуры и определения ее будущих характеристик.
9. Улучшенные функции Health Check.
Теперь они охватывают еще и firmware контроллеров хранилищ, интеграция с которыми появилась в этой версии vSAN. Также с помощью тестов сетевого окружения vSAN можно получить отчет о том, какая пропускная способность доступна в сети. Кроме этого, в Health Check появилась проверка недоступности swap-объектов.
10. Улучшенная диагностика для персонала поддержки VMware GSS.
В vSAN есть встроенные средства диагностики и поддержки vSAN Support Insight, которые получили развитие в этом обновлении. Теперь в vSAN 6.7 Update 1 есть детализированные графики производительности в различных аспектах.
Функция Network diagnostic mode предоставляет инженерам VMware GSS данные о состоянии сети, что облегчает работу с обращениями в техподдержку и уменьшает объем собираемых и передаваемых в VMware саппорт-бандлов.
Как ожидается, обновленное решение VMware vSAN 6.7 Update 1 будет доступно одновременно с VMware vSphere 6.7 Update 1 до ноября 2018 года[3].
2017: VMware vSAN 6.6
14 апреля 2017 года компания VMware представила релиз VMware vSAN 6.6. Среди свойств продукта — встроенная безопасность гиперконвергентной инфраструктуры (HCI), низкая совокупная стоимость владения (TCO) и рост производительности all-flash-хранилищ до 50%.
Согласно заявлению компании, релиз VMware vSAN 6.6 поможет заказчикам в развитии инфраструктуры с минимальными рисками, используя встроенную безопасность, надежную реализацию высокой доступности и выбор аппаратных платформ, включая флеш-технологии (SSD) Intel Optane. Последний релиз будет способствовать снижению совокупной стоимости владения за счет интеллектуальных операций самообслуживания и облачной аналитики, обеспечивая гибкость и производительность для поддержки современных приложений и оборудования.
Представление VMware vSAN 6.6 Demo, (2017)
С момента первоначального выпуска VMware vSAN в 2014 году заказчики используют vSAN благодаря экономии на совокупной стоимости владения и простоте управления вычислительными ресурсами и хранилищем. VMware vSAN 6.6 оснащена инновационными элементами, в частности, несколькими новыми для отрасли опциями, и в дальнейшем будет способствовать повсеместному внедрению гиперконвергентной инфраструктуры, помогая заказчикам модернизировать их ЦОД, чтобы получить конкурентное преимущество за счет новоприобретенной гибкости. Янбинг Ли, старший вице-президент и генеральный менеджер, Storage and Availability Business Unit, VMware |
vSAN 6.6 — шестое поколение встроенного хранилища корпоративного уровня от VMware для vSphere. Хранилище годится для различных сценариев использования, включая бизнес-критичные и облачные приложения, инфраструктуры виртуальных рабочих столов (VDI), удаленный офис/филиал (ROBO), для обеспечения катастрофоустойчивости инфраструктуры. Релиз 6.6 предложит заказчикам путь к повышению безопасности инфраструктуры, обеспечивающей доступность для бизнес-критичных приложений. Среди возможностей:
- Нативная защита гиперконвергентных инфраструктур:
- Программно-определяемое решение для хранения данных со встроенной защитой обеспечивает упрощенное управление ключами для защиты от нежелательного доступа к данным. Заказчики vSAN 6.6 могут выбрать любое сертифицированное для vSAN оборудование, что позволит сократить затраты на аппаратное обеспечение.
- Доступное управление vSAN:
- vSAN 6.6 позволит проводить мониторинг и управление платформами хранения в случае, если сервер VMware vCenter Server окажется недоступен.
- Снижение TCO, повышенная безопасность хранилищ и интеллектуальные операции
Решения в области гиперконвергентной инфраструктуры на основе vSAN созданы, чтобы помочь ИТ-командам модернизировать инфраструктуру ЦОДов, несмотря на сокращение или ограничение бюджетов и рост спроса со стороны бизнеса и конечных пользователей. vSAN 6.6 поможет заказчикам решить эти проблемы, снижая экономическое давление на бизнес и ИТ за счет функционала:
- Эффективная и экономичная защита площадок:
- vSAN 6.6 предлагает улучшенные растянутые кластеры с локальной защитой для обеспечения устойчивости к отказам как внутри, так и между площадок.
- Проактивная облачная аналитика:
- vSAN Cloud Analytics — инструмент аналитики, который предоставляет уведомления о состоянии и индивидуальные рекомендации, помогающие заказчикам оптимизировать свою среду vSAN в режиме реального времени. Облачную аналитику можно постоянно улучшать, используя новые контрольные точки и функционал без какого-либо участия со стороны заказчикам.
- Автоматизированное обслуживание оборудования:
- Автоматизированное обслуживание оборудования ускорит первоначальную настройку аппаратного обеспечения, упростит установку ПО и предоставит возможность обновления прошивок в один клик, что позволит добиться большей предсказуемости аппаратного обеспечения, не жертвуя при этом широтой выбора аппаратуры.
VMware vSAN 6.6 обеспечит:
- Ускорение производительности флеш-систем:
- Оптимизация алгоритмов служб данных при помощи vSAN 6.6 поможет ускорить производительность флеш-систем, используемых в критичных для бизнеса и облачных приложениях. Помимо существующей поддержки VMware Horizon утвержденные архитектуры обеспечивают поддержку приложений Hadoop, Citrix XenApp, InterSystems Cache и Splunk.
- Поддержка аппаратного обеспечения следующего поколения:
- Архитектура vSAN спроектирована так, чтобы поддерживать последние флеш-технологии, и позволяет решениям на vSAN применять новые технологии по мере их появления на рынке. Например, vSAN 6.6 обеспечит поддержку недавно запущенной твердотельной памяти Intel Optane, которая может поднять производительность критичных к операциям записи приложений, например, аналитики больших данных и стриминга.
2016
VMware Virtual SAN 6.5
18 октября 2016 года компания VMware сообщила о выходе конвергентного решения Virtual SAN версии 6.5.
Эта версия поможет уменьшить расходы на совокупную стоимость владения еще на 50% за счет поддержки контейнеров и физических рабочих нагрузок. Внедрена поддержка iSCSI, устранена необходимость в расходах на сетевое оборудование с помощью двухузловых конфигураций для удаленных офисов или филиалов (ROBO). Добавлена поддержка all-flash массивов в Virtual SAN Standard Edition.
Возможности VMware Virtual SAN 6.5
- Поддержка iSCSI — позволит Virtual VSAN-хранилищу выступать в качестве iSCSI-target для внешних физических рабочих нагрузок, включающих кластеризованные приложения, в том числе нагрузок кластеризованных Microsoft SQL Server.
- Поддержка контейнеров — VMware Virtual SAN обеспечит высокодоступный слой данных для контейнеризованных приложений с помощью VMware vSphere Integrated Containers.
- Двухузловое прямое подключение Two-node Direct Connect — функция избавит от необходимости использования коммутаторов и маршрутизаторов между VSAN-системами ROBO-локаций, что позволит заказчикам уменьшить издержки на инфраструктуру для каждой такой площадки на 15-20%.
- Интерфейсы REST APIs и Expanded PowerCLI — позволят клиентам ускорить работу благодаря автоматизации корпоративного уровня, которая придаст средам Virtual SAN гибкость и управляемость сравнимую с облачными средами.
- Жесткие диски 512E и твердотельные накопители (SSD) — совместимость с 512-байтными дисковыми накопителями делает возможной поддержку дисков высокой емкости.
VMware анонсировала на четвертый квартал 2016 года появление пакета Virtual SAN Standard Edition, внедряя поддержку для базовых all-flash конфигураций, что позволит заказчикам сократить издержки на совокупную стоимость эксплуатации системы хранения.
Гиперконвергентный vSAN
10 февраля 2016 года VMware выпустила vSAN 6.2. Он создан специально для разворачивания хранилищ на основе флэш-памяти NAND и пополнил линейку гиперконвергентных продуктов компании[4].
Гиперконвергентная компьютерная система объединяет в одном комплексе не только управление вычислительными ресурсами, хранением данных и сетевыми функциями, что присуще конвергентным системам, но также дополнительные функции: дедупликация, компрессия и распределение данных по уровням хранения, шифрование данных и/или высокоуровневая аутентификация пользователей в рамках системы безопасности, гипервизор и т.п. |
Согласно заявлению VMware, цель выпуска релиза в повышении эффективности обслуживания данных в системах хранения на основе твердотельной памяти флэш-NAND, гибридных и традиционных жестких дисков в дополнение к новым функциям QoS и возможностям мониторинга производительности и емкостных ресурсов системы.
В этом релизе vSAN упрощено создание хранилища данных и управление его ресурсами при одновременном ускорении операций с данными. Посредством формирования виртуального слоя ИТ-администраторы получают полную информацию о ресурсах хранения, что позволяет им выделять виртуальным машинам необходимые вычислительные и емкостные ресурсы, объединенные в общую виртуализованную платформу.
VMware Virtual SAN 6.2 - радикально упрощенное хранилище корпоративного класса, для создания гиперконвергентной инфраструктуры VMware. Гиперконвергентная инфраструктура VMware обеспечивает преобразование инфраструктуры ЦОД за счет высокопроизводительной и экономичной архитектуры, объединяющей вычислительные ресурсы, хранилище и сеть на базе стандартных серверов x86.
Свойства
- Радикальное упрощение системы хранения. Virtual SAN оптимизирует инициализацию ресурсов в средах vSphere. Чтобы развернуть хранилище, достаточно всего нескольких щелчков мыши в стандартном веб-клиенте vSphere. Благодаря политикам, ориентированным на ВМ, уровни обслуживания можно настраивать и изменять за считаные секунды. Интегрированные возможности управления упрощают мониторинг, устранение неполадок и создание отчетов.
- Высокая производительность. Решение Virtual SAN встроено в гипервизор VMware и оптимизирует путь ввода-вывода данных для обеспечения значительно более высокой производительности, чем при использовании виртуального или внешнего устройства. Это лучшее гиперконвергированное хранилище с производительностью до 90 тысяч операций ввода-вывода в секунду на сервер, предназначенное для работы с наиболее ресурсоемкими корпоративными приложениями.
- Готовность к использованию в корпоративных средах. Virtual SAN предоставляет расширенные службы хранения данных для виртуальных машин, в том числе оптимизацию для флэш-накопителей, встроенные распределенные RAID-массивы и параметры качества обслуживания (QoS). Эффективность хранения данных достигается за счет исключения дублирования, сжатия и защиты данных с помощью механизма Erasure Coding. Virtual SAN поддерживает стандартную интеграцию с vSphere High Availability, Fault Tolerance и vSphere Replication для асинхронной репликации с целевой точкой восстановления до 5 минут. А распределенные кластеры Virtual SAN обеспечивают восстановление на уровне среды даже при выборе нулевой целевой точки восстановления.
- Линейная масштабируемость. Virtual SAN поддерживает прогнозируемое и эластичное масштабирование ресурсов хранения без прерывания рабочих процессов, что устраняет необходимость в полной замене оборудования, крупных закупках и избыточном выделении ресурсов.
- Снижение совокупной стоимости владения на 50%. Virtual SAN обеспечивает снижение капитальных расходов за счет эффективного использования стандартных серверов и компонентов x86, а эксплуатационных — благодаря автоматизации управления вычислительными и серверными ресурсами с помощью единой виртуализированной платформы.
Четвертое поколение продукта отличается низкой совокупной стоимостью владения и предоставляет возможности оптимизации хранения: исключение дублирования во время записи и расширенные возможности автоматизации развертывания, управления.
Особенности Virtual SAN 6.2
- Сжатие и исключение дублирования во время записи.
- Уменьшение размера хранилища и расходов на ресурсы хранения за счет повышения эффективности хранилища в 7 раз.
- Механизм Erasure Coding.
- Увеличение полезной емкости хранилища (в 2 раза) без потери надежности хранения данных за счет одинарного или двойного контроля по четности, обеспечивающего устойчивость к одному или двум сбоям (также известный как RAID 5 и RAID 6).
- Параметры качества обслуживания.
- Контроль, ограничение и мониторинг использования операций ввода-вывода для каждой виртуальной машины, что исключает взаимное влияние виртуальных машин, предотвращая монополизацию ввода-вывода хранилища одной машиной за счет остальных.
- Автоматически настраивающееся ПО.
- Упрощение и автоматизация настройки и конфигурации сети, проверки аппаратного обеспечения, а также текущего управления жизненным циклом.
- Поддержка SAP.
- Расширенная интеграция
- Интеграция с решением по управлению облаком VMware Horizon.
2015
Готовится к выходу VMware Virtual SAN 6.0
4 февраля 2015 года стало известно - в рамках обновления VMware vSphere 6.0 компания обновила VMware Virtual SAN до версии 6.0 после версии 1.0 - вторая версия продукта.
Поддержка архитектуры All Flash для создания кластера хранилищ.
Стали доступны два варианта развертывания VSAN:
- Hybrid – Virtual SAN использует SSD-диски для кэширования, а для хранения ВМ используются обычные HDD-диски. Максимально возможные конфигурации этой архитектуры возросли - стало 64 хоста в кластере.
- All Flash – Virtual SAN использует имеющиеся Flash-накопители как для кэширования, так для хранения ВМ.
Архитектурные отличия:
VMware Virtual SAN - Ready for Enterprise-Class Applications, 2014
VMware Virtual SAN 6.0 Architectures, 2014
В конфигурации All Flash устройства, ответственные за кэширование, производят кэширование записи и не делают кэширование на чтение. В гибридной конфигурации 30% емкости SSD-кэша используется для буфера записи, 70% - для кэша на чтение.
Virtual SAN Flash caching Architectures, 2014
Разработчики утверждают, что решение Virtual SAN готово к полноценной промышленной эксплуатации.
- Возможность High Density Direct Attached Storage (HDDAS).
Теперь кластеры Virtual SAN удобно использовать в окружениях с блейд-системами. Для них поддерживаются как SDD, так и HDD-устройства, включая flash-хранилища блейд-серверов.
Если раньше блейд-системы не очень подходили для организации кластеров ввиду физических ограничений по локальным хранилищам, то теперь это вполне подходящий вариант использования для корпоративной инфраструктуры. Поддержка устройств будет строго контролироваться и постоянно обновляться в VMware HCL.
- Новая файловая система и формат On-Disk.
Virtual SAN в VMware vSphere 5.5 использовал модифицированный формат файловой системы VMFS с измененным механизмом блокировок, которая называлась VMFS-L. В VSAN 6.0 используется файловая система VSAN FS, специально предназначенная для кластеров хранилищ.
- Функции Proactive Rebalance.
В Virtual SAN 6.0 появилась возможность изменения балансировки объектов по виртуальным дискам в случае, если подключается новый узел vSphere или если диски заполнены на 80% и более. Делается это через Ruby Console.
- VSAN Fault Domains (группы отказа).
Теперь в VSAN можно определять домены отказа, то есть группы хостов, у которых может произойти одновременный сбой (например, отказ питания на стойке), чтобы все их объекты продублировались в других доменах. Реплики объектов происходят не на уровне хостов, а на уровне Fault Domains (в данном случае инфраструктура хранения переживет отказ одной стойки).
- Новые функции для дисков (Serviceability Functions).
Light LED on failures – включение LED-индикатора при отказе. Turn on disk LED manually - включение LED-индикатора вручную для диска, чтобы его можно было найти на массиве. Marking a disk as local – если диск не обнаружился как локальный, его можно пометить вручную из GUI. Marking a disk as SSD - теперь эта опция есть в GUI, нужна если диск автоматически не распознается как SSD.
- Улучшения сетевого взаимодействия.
Теперь Virtual SAN 6 поддерживает конфигурации на уровне Layer 3. Доступна конфигурация с Jumbo Frames. Добавлена поддержка возможностей vDS и Network IO Control (NetIOC).
- Новый тип виртуального диска VMDK - vsanSparse.
Ранее использовались стандартные Redo-диски, они не были приспособлены под кэширование и другие функции VSAN FS, поэтому сделали новый тип диска vsanSparse.
- Улучшенные функции Disk/Disk Group Evacuation.
Возможность эвакуации данных с отдельного диска или группы перед физическим выводом из эксплуатации. Ранее приходилось переводить весь хост в Maintenance Mode, чтобы неудобно при возникновении неисправности одного диска.
- Новое представление Resynchronization Dashboard
Это представление показывает статус объектов, по тем или иным причинам находящимся в состоянии ресинхронизации. Показывается примерное время окончания синхронизации.
- Новые службы 3rd Party File Services.
Сторонние вендоры могут надстраивать свои решения над VMware Virtual SAN.
- Полноценная поддержка командлетов PowerCLI.
Прежде интерфейс PowerCLI поддерживался неофициально, теперь командлеты документированы и поддерживаются.
- Службы мониторинга жизнедеятельности (VSAN Health Services).
Для компонентов Virtual SAN доступна информация об их состоянии.
- Storage Consumption Models.
Появилась возможность визуализации использования ресурсов хранения Virtual SAN 6.0 при создании или изменении политики хранилища ВМ.
О доступности VMware Virtual SAN 6.0 компания планирует сообщить дополнительно.
2014
Объявлена поддержка экосистемы VMware Virtual SAN
17 февраля 2014 года компания VMware сообщила о начале программы поддержки партнеров решения VMware Virtual SAN, первого продукта компании для программно-определяемых систем хранения данных.
На 17 февраля 2014 года продукт доступен в режиме публичного бета-тестирования и с момента поступления в продажу будет сертифицирован для работы с серверами и устройствами Cisco, Dell, EMC, Fusion-io, HGST, HP, IBM, Intel, LSI, Samsung Electronics, SanDisk и Seagate - они предлагают широкий набор возможностей по работе с VMware Virtual SAN.
Компания планирует выпустить VMware Virtual SAN в продажу в течение первого квартала 2014 года.
Вместе с VMware Virtual SAN, VMware предлагает два варианта внедрения: готовые устройства VMware Virtual SAN Ready Nodes[5] и перечень совместимых аппаратных платформ[6].
VMware Virtual SAN 1.0
11 марта 2014 года VMware сообщила о выходе новой версии - VMware Virtual SAN 1.0.
Поддерживая VMware Virtual SAN разработчики обновили: платформу VMware vSphere и решение для виртуализации настольных ПК VMware Horizon View, которое поддерживает размещение десктопов в хранилищах VSAN.
Обновлены компоненты:
- vCenter Server Update 1
- ESXi 5.5 Update 1
- Horizon View 5.3.1
- Horizon Workspace 1.8
Обновление затронуло продукты, обеспечивающие поддержку VSAN:
- VMware vCloud Director 5.5.1
- VMware vCenter Operations Manager Advanced 5.8.1
- VMware vCenter Hyperic 5.8.1 Server и агентская часть
- VMware vCenter Site recovery manager 5.5.1
- VMware vCloud Application Director 6.0.1
Апгрейд с бета-версий VSAN на официальный релиз не поддерживается.
Все обновленные компоненты решений VMware имеются на сайте вендора.
Начало продаж VMware Virtual SAN
20 марта 2014 года VMware сообщила о начале продаж VMware Virtual SAN - продукта для программно-определяемой системы хранения.
VMware Virtual SAN доступна по цене от $2,495 за процессор. Продукт для настольных систем - $50 за пользователя.
На 20 марта 2014 года доступно приобретение комплекта из VMware Virtual SAN с VMware vSphere Data Protection Advanced по цене $2,875 за процессор.
Обновление VMware Virtual Storage Appliance до VMware Virtual SAN доступно со скидкой 20% на розничные цены.
2013
Анонсирован выход VMware Virtual SAN
Компания VMware анонсировала выход технологии VMware Virtual SAN 27 августа 2013 года.
VMware Virtual SAN разработана на распределенной архитектуре, линейно масштабирующей сервисы хранения в соответствии с потребностями приложений. При помощи бесшовной интеграции VMware Virtual SAN с VMware vSphere VMware пересмотрела роль гипервизора для доставки виртуальных вычислительных ресурсов и сервисов хранения адаптивным и гибким способом. Распределенная архитектура позволяет VMware Virtual SAN обеспечить производительность ввода/вывода, сравнимую с массивами хранения данных средней производительности.
Решение представляет функционал управления с применением политик для виртуальных машин, который автоматизирует использование пространства для хранения данных и управление им. Используя ресурсы серверных твердотельных дисков (SSD) и жестких магнитных дисков (HDD), VMware Virtual SAN существенно снижает общую стоимость владения (TCO) для инфраструктуры виртуальных десктопов (VDI), сред тестирования и разработки, а также других вариантов применения.
Наращивать мощность и емкость системы хранения данных возможно добавляя серверы по мере необходимости.
Решение VMware Virtual SAN появится в бесплатном доступе, в рамках программы публичного бета-тестирования, в третьем квартале 2013 года.
Примечания
- ↑ Аносирована новая версия VMware vSAN 7.0 - что там будет интересного?
- ↑ Анонсирован VMware vSAN 6.7 Update 3 и издание Enterprise Plus
- ↑ VMware анонсировала платформу виртуализации VMware vSphere 6.7 Update 1
- ↑ VMware обновляет vRealize Cloud Manager и vSAN Storage Suite
- ↑ VMware Virtual SAN Ready Nodes - набор сконфигурированных серверов, которые можно использовать вместе с VMware Virtual SAN, чтобы упростить процесс конфигурирования и выделения ресурсов
- ↑ Перечень совместимости оборудования включает в себя устройства с твердотельными дисками, магнитными накопителями и различными контроллерами ввода/вывода, что предоставляет клиентам широкие возможности выбора серверов и компонентов для удовлетворения их реальных потребностей
Заказчик | Интегратор | Год | Проект |
---|---|---|---|
- ФГБУ ФНКЦ ФМБА России | ActiveCloud by Softline (АктивХост РУ) | 2020.07 | |
- Международный Комитет Красного Креста (МККК) | VMware | 2019.09 |
Подрядчики-лидеры по количеству проектов
ITglobal.com (ИТглобалком Рус) (35)
Рэйдикс (Raidix) (35)
R-Style Softlab (Эр-Стайл Софтлаб) (27)
BeringPro (БерингПойнт) ранее BearingPoint Russia (26)
Сапран (Saprun) (22)
Другие (540)
Сапиенс солюшнс (Sapiens solutions) (7)
ITglobal.com (ИТглобалком Рус) (6)
Aerodisk (Аеро Диск) (4)
Lenovo Россия (3)
Крикунов и Партнеры Бизнес Системы (КПБС, KPBS, Krikunov & Partners Business Systems) (3)
Другие (30)
КНС Групп (Yadro) (1)
КРИТ (KRIT) (1)
Кортис (1)
Крикунов и Партнеры Бизнес Системы (КПБС, KPBS, Krikunov & Partners Business Systems) (1)
Ростелеком (1)
Другие (8)
Распределение вендоров по количеству проектов внедрений (систем, проектов) с учётом партнёров
SAP SE (1, 103)
NetApp (25, 66)
Рэйдикс (Raidix) (19, 51)
IBM (30, 43)
Dell EMC (68, 32)
Другие (702, 344)
SAP SE (1, 8)
NetApp (5, 7)
Aerodisk (Аеро Диск) (5, 6)
Lenovo Data Center Group (1, 6)
Lenovo (1, 6)
Другие (18, 19)
Aerodisk (Аеро Диск) (3, 2)
Hewlett Packard Enterprise (HPE) (1, 1)
Lenovo Data Center Group (1, 1)
NetApp (1, 1)
TData (ТДата) (1, 1)
Другие (7, 7)
Киберпротект (ранее Акронис-Инфозащита, Acronis-Infoprotect) (1, 3)
Lenovo Data Center Group (1, 1)
Шаркс Датацентр (Sharx DC) (1, 1)
Arenadata (Аренадата Софтвер) (1, 1)
Lenovo (1, 1)
Другие (3, 3)
Platformcraft (Платформкрафт) (2, 2)
КНС Групп (Yadro) (1, 2)
SAP SE (1, 1)
Aerodisk (Аеро Диск) (1, 1)
Nextcloud GmbH (1, 1)
Другие (4, 4)
Распределение систем по количеству проектов, не включая партнерские решения
SAP NetWeaver Business Warehouse (SAP BW/4HANA) - 103
Raidix СХД - 46
NetApp FASx - 45
RS-DataHouse - 24
Lenovo ThinkSystem - 17
Другие 354
SAP NetWeaver Business Warehouse (SAP BW/4HANA) - 8
Lenovo ThinkSystem - 6
Аэродиск Восток СХД - 3
IBM FlashSystem - 3
NetApp FASx - 3
Другие 23
ActiveStorage (ранее Active S3) - 1
Aerodisk vAIR - 1
Аэродиск Восток СХД - 1
SAP NetWeaver Business Warehouse (SAP BW/4HANA) - 1
NetApp FASx - 1
Другие 7
Подрядчики-лидеры по количеству проектов
Softline (Софтлайн) (53)
Крок (40)
Крок Облачные сервисы (13)
Айтеко (Ай-Теко, iTeco) (13)
Cloud4Y (ООО Флекс) (12)
Другие (509)
Commvault (5)
ITglobal.com (ИТглобалком Рус) (3)
Крок (2)
Cloud4Y (ООО Флекс) (2)
Delta Computers (Дельта Компьютерс) (2)
Другие (24)
Крок Облачные сервисы (3)
ISPsystem (Экзософт) (1)
ITglobal.com (ИТглобалком Рус) (1)
Кортис (1)
Крикунов и Партнеры Бизнес Системы (КПБС, KPBS, Krikunov & Partners Business Systems) (1)
Другие (1)
Распределение вендоров по количеству проектов внедрений (систем, проектов) с учётом партнёров
VMware (94, 136)
Microsoft (14, 39)
IBM (18, 38)
Крок (2, 37)
Крок Облачные сервисы (1, 37)
Другие (393, 308)
VMware (4, 6)
Commvault (2, 5)
IBM (2, 4)
ITglobal.com (ИТглобалком Рус) (2, 3)
РусБИТех-Астра (ГК Астра) (1, 3)
Другие (14, 15)
Крок (1, 3)
Крок Облачные сервисы (1, 3)
СП Облачная платформа (Базис, Basis) (1, 1)
Aerodisk (Аеро Диск) (1, 1)
ITglobal.com (ИТглобалком Рус) (1, 1)
Другие (3, 3)
Orion soft (Орион) (2, 4)
Киберпротект (ранее Акронис-Инфозащита, Acronis-Infoprotect) (1, 3)
Крок Облачные сервисы (1, 3)
ITglobal.com (ИТглобалком Рус) (1, 3)
VStack (ИТглобалком Лабс) (1, 3)
Другие (9, 13)
РусБИТех-Астра (ГК Астра) (1, 4)
СП Облачная платформа (Базис, Basis) (2, 2)
VStack (ИТглобалком Лабс) (1, 2)
Ред Софт (Red Soft) (1, 2)
ITglobal.com (ИТглобалком Рус) (1, 2)
Другие (8, 10)
Распределение систем по количеству проектов, не включая партнерские решения
VMware vSphere - 77
Крок: Виртуальный дата-центр (IaaS) - 37
Microsoft Hyper-V - 37
Citrix Virtual Apps и Desktops (ранее XenApp и XenDesktop) - 20
Cisco UCS Unified Computing System (Cisco UCCX) - 18
Другие 366
Commvault Complete Data Protection - 4
IBM Cloud Paks - 3
Astra Linux: Брест Виртуализация - 3
ITglobal.com: VDI - 3
Cloud4Y Виртуальный рабочий стол (VDI) - 2
Другие 16
Крок: Виртуальный дата-центр (IaaS) - 3
ISPsystem VMmanager - 1
VStack платформа виртуализации - 1
VMware vSphere - 1
Базис.Dynamix - 1
Другие 1