Facebook Presto

Presto - распределенная СУБД. Реализована на Java.

Система поддерживает стандартный язык запросов SQL и допускает создание кластеров из сотен узлов, обрабатывая на них петабайты данных.

Архитектура Presto словами одного из разработчиков^[1]:

«Клиент отправляет SQL координатору Presto. Координатор разбирает запрос, анализирует его, а затем планирует исполнение запроса. Диспетчер соединяет конвейер исполнения, даёт поручения узлам, которые расположены ближе всего к данным, и следит за продвижением обработки. Клиент извлекает данные из внешней ступени, которая, в свою очередь, заимствует их с ещё более низких уровней».

Архитектура Presto, 2014

Система способна компилировать в байт-код Java запросы SQL и делает это так, чтобы избежать проблем с выделением памяти и сборкой мусора. На этом превращения запроса на заканчиваются: виртуальная машина, исполняющая байт-код, «на лету» компилирует его в машинный код. В результате он выполняется ещё быстрее.Обзор российского рынка банковской цифровизации: импортозамещение, искусственный интеллект и собственные экосистемы 6.3 т

В начале 2013 года первые версии системы внедрили в Facebook. Весной 2013 года соцсеть начала полномасштабный переход на Presto. На 7 июля 2015 года система работает на нескольких гигантских кластерах (количество узлов в одном из них может достигать тысячи), ежедневно исполняя более 30 тысяч запросов к петабайту информации.

Исходные коды Presto опубликованы на сервисе Github - репозиторий.

Система доступна по лицензии Apache.

2016: Teradata активно поддержала проект Presto

30 июня 2016 года корпорация Teradata сообщила о сертификации нескольких решений для бизнес-аналитики и визуализации данных в распределенной СУБД Presto.

К этим решениям относятся Information Builders, Looker Data Platform, платформа визуальной аналитики Qlik, набор аналитических инструментов Tableau и ZoomData. Компания MicroStrategy обязалась выполнить сертификацию и завершает тестирование приложения Microsoft Power BI.

Несколько сертификаций предоставляют заказчикам большие возможности выбора и способствуют эффективному использованию профессиональных навыков и инвестиций в инструменты бизнес-аналитики, чтобы анализировать данные в Hadoop.

Сертификация приложений бизнес-аналитики и аналитических приложений для использования с распределенной СУБД Presto, поддерживаемой Teradata, является важным начинанием в отрасли. Это весьма своевременный шаг, учитывая многие проблемы, с которыми в настоящее время сталкиваются компании при развертывании и использовании платформы Hadoop. В то время, когда технология Presto, благодаря корпорации Teradata, стала решением по выполнению SQL-запросов на Hadoop в корпоративном секторе, интеграция с инструментами бизнес-аналитики добавит необходимые функциональные возможности для эффективного использования в рамках организации. Независимо от предпочитаемого компанией поставщика приложений бизнес-аналитики и аналитических приложений, положительный результат заключается в появлении эффективного механизма выполнения аналитических запросов, который открывает новую яркую страницу в области визуальной аналитики для всех пользователей Hadoop. Клаудиа Имхофф (Claudia Imhoff), ведущий консультант по бизнес-аналитике и хранилищам данных, основатель фонда Boulder BI Brain Trust

На июнь 2016 года Presto позволяет отправлять запросы в разные файловые системы, поддерживаемые платформой Hadoop, включая HDFS, Amazon S3, Cassandra, реляционные базы данных и даже корпоративные хранилища данных – и подходит для аналитиков данных, запросы которых требуют отклика в пределах секунд или минуты.

Объединение распределенной СУБД Presto, поддерживаемой Teradata, с несколькими инструментами бизнес-аналитики означает, что компании могут разрабатывать приложения и отчеты бизнес-аналитики на платформах, используя распределенную СУБД Presto, драйверы ODBC и JDBC для Presto от Teradata. Такая интеграция помогает обеспечить быструю разработку приложений и важнейшие данные по результатам анализа клиентом интенсивности событий, анализа оттока клиентов, анализа информации от датчиков для визуализации Интернета вещей и многое другое. В результате, компании могут быстрее создавать для себя новые возможности, эффективно используя имеющиеся инвестиционные ресурсы в основанные на SQL приложения для бизнес-аналитики и Hadoop.

Примечания