ИИ в аналитике: что за пределами BI?

Рынок программных продуктов для бизнес-аналитики (Business Intelligence, BI) относится к числу тех, что демонстрируют убедительные двузначные цифры роста. Так, по данным специального исследования, которое провела компания Navicon, рынок отечественных систем аналитики вырастет в нынешнем году на 10-12. Для сравнения: общемировому рынку BI исследователи прочат в ближайшие годы стабильный рост на уровне 8-10% в год. Но уже в 2023 году, когда на нашем рынке появится больше успешных кейсов миграции на отечественное ПО, и бизнес перестанет опасаться проблем «сырого» софта, скорость развития рынка увеличится минимум до 30-35%, считают аналитики компании Navicon.

Специфика развития российского рынка BI

Безусловным драйвером увеличения российского рынка BI являются потребности импортозамещения государства и бизнеса РФ. В компании Navicon отмечают, что спрос на импортонезависимые российские решения со стороны клиентов вырос на 50%, и около 40% заказчиков заявили о планах миграции на отечественное ПО в ближайшее время. В первую очередь, речь идет о сегментах банков, ритейла и телекома.

Впрочем, позитивное влияние импортозамещения, начавшееся весной нынешнего года, стало продолжением усиленного внимания к аналитике, которое появилось в период пандемии. Крупные компании, накопившие к тому моменту значительные объемы данных, искали с помощью BI-решений способы более эффективно управлять ресурсами и финансовыми потоками, наладить логистику, рассказывают в компании Navicon, отдавая при этом предпочтение ведущей тройке зарубежных вендоров: Microsoft, Tableau, QlikTech. Доля отечественного ПО на российском рынке BI до февраля 2022 г. составляла, по оценкам Navicon, не более 10%.Обзор российского рынка банковской цифровизации: импортозамещение, искусственный интеллект и собственные экосистемы 6.3 т

Ситуация изменилась, когда иностранные вендоры начали останавливать свою деятельность в России. И в этом есть, помимо окрывающегося окна возможностей для отчественных вендоров, определенные риски: крупные заказчики привыкли к определенному уровню сервиса и надежности глобальных брендов.

В то же время Сергей Громов, эксперт в области BI, полагает, что во многом отечественные платформы достигли определенного уровня зрелости и в текущих условиях могут стать эффективной альтернативой решениям зарубежных производителей, покинувших рынок из-за санкций. В апреле он представил третью часть ежегодного исследования «BI-круг Громова», традиционно посвященного BI-системам, созданных российскими разработчиками.

Сергей Громов подчеркивает, что очередное тестирование проводилось в условиях, приближенных к «боевым», то есть реальному использованию в бизнесе. С этой целью использовались задачи, которые решают BI-системы в ритейле – в этом сегменте бизнес-аналитика внедряется давно и активно.

Исследование охватило 40 отечественных решений, среди которых: Visiology, Modus BI, Luxms BI, «Форсайт. Аналитическая платформа», «Триафлай», DataLens, «Криста BI», PolyAnalyst, N3.Аналитика, «Аналитическая платформа Polymatica», Alpha BI, Analytic Workspace, Almaz BI, Cubisio, Visary BI Cистема электронного документооборота, «1С:Аналитика», «Пульс Дела/Пульс Региона», Dataplan, Storm и др.

Отечественные BI-платформы, хотя и являются молодыми в большинстве своем, в последние годы развивались в условиях достаточно жесткой конкуренции с решениями ведущих глобальных вендоров,- говорит Сергей Громов.- Это не могло не оказать позитивного влияния на качество и функциональность российских решений.

Таким образом, пространство для роста есть, у каждой платформы можно найти слабые стороны, но в целом удалось добиться многого, считает эксперт, и это должно облегчить миграцию организаций на отечественные решения.

Характерный признак российского рынка BI – высокая доля заказчиков из госсектора и компания с государственным участием. Именно они обеспечили то спрос, который обеспечил базис для развития отечественных разработок, комментирует Людмила Островская, руководитель проектов Отделения комплексного проектирования информационных систем компании «ФОРС - Центр разработки». В то же время, конкурировать на освободившемся от зарубежных вендоров поле они будут не только друг с другом, а еще и со свободным ПО. Действительно, подтверждает Дмитрий Сысоев, директор департамента управленческого консалтинга компании «Норбит», в последние годы появилось немало достаточно продвинутых BI-продуктов, использующих СПО.

К числу признаков передовой аналитической системы относится широкий спектр анализируемых данных.

На пути к Data Factory

В качестве свежего примера развитой аналитической системы можно привести запущенную в конце апреля систему «Посейдон». Президент РФ Владимир Путин подписал 25 апреля 2022 г. Указ № 232 о государственной информационной системе в области противодействия коррупции «Посейдон». Эта ГИС будет контролировать доходы и расходы чиновников, осуществлять профилактику в борьбе против коррупции, использоваться для раскрытия иных правонарушений. Ранее для контроля доходов госслужащих применялась программная платформа «Справка-БК», с помощью которой госслужащие формировали декларации о доходах.

Указом № 232 предусмотрено информационное взаимодействие ГИС «Посейдон» с другими информационными системами, сведения из которых могут быть использованы для противодействия коррупции, включая федеральные государственные органы, госорганы субъектов РФ, Банк России, государственные корпорации (компании), государственные внебюджетные фонды, иные организации. В системе «Посейдон» будет осуществляться автоматизированный анализ всей совокупности имеющейся информации.

Еще один пример – проект по созданию интеллектуальной системы для управления месторождениями и промысловыми данными, который выполняет ГК «Эттон». Создаваемая система будет обрабатывать всю информацию, поступающую со скважин: от характеристик скважин и до параметров добычи. На основе комплексного анализа данных аналитическая система предложит оптимальный режим работы скважины. При этом для обработки данных используется целый комплекс интеллектуальных механизмов: алгоритмы машинного обучения, сценарии управления данными (управление на основе правил), создание моделей для увеличения скорости вычислений. Предусмотрен даже внутренний декларативный язык, упрощающий описания операций обработки данных.

Разработчики системы рассказывают, что она будет способна выявлять закономерности, связывающие данные между собой, и рассчитывать прогноз по всем параметрам в процессе планирования различных методов воздействия на скважину или пласт. В целом, процессы цифровизации, сопровождающиеся накоплением данных, стали драйвером для развития так называемых фабрик данных (Data Factory). Фактически это экосистемы, которые объединяют сбор данных из разнообразных источников и информационных систем, конвейеры передачи и обработки информации, API-интерфейсы. Аналитики Gartner в 2020 г. назвали Data Factory одним из ключевых трендов в области Data Analytics.

По такому принципу построена, например, система «Дельта BI», разработанная в компании Navicon. Она обеспечивает комплексный подход к работе с данными. В частности, в базовую поставку входит более 200 готовых коннекторов для различных информационных систем. В компании говорят, что в системе реализуется обработка «широких» данных, включая, как источники, как структурированных, так и неструктурированных данных, с целью повышения осведомленности о контексте и принимаемых решениях.

Источник: компания Navicon

«Дельта BI», как утверждают разработчики из компании Navicon, дает возможность принимать управленческие решения буквально в реальном масштабе времени, причем, Self-service подход позволяет работать с аналитическими инструментами бизнес-пользователям.

Михаил Берёзин, руководитель продукта «Единый клиент», эксперт по MDM-решениям компании HFLabs, говорит о том, что аналитика больших данных сегодня вышла на этап поступательного развития:

Волна хайпа уже прошла. Компании понимают, какого бизнес-эффекта можно ожидать. Технологии и подходы всем понятны и известны. Специалисты все еще очень дороги, но уже не являются редкостью. Поэтому говорить о прорывах в ближайшее время не приходится, скорее впереди период адаптации того, что уже умеем.

Данные для современной аналитики

Сегодня для аналитической обработки организации стремятся использовать все возможности больших данных, как внутренних, так и внешних. Правда, как отмечает Александр Хледенев, директор по цифровым решениям компании ВС Лаб, преимущество сегодня – на стороне внутренних источников:

Причиной является их доступность, достоверность (или способность ее трезво оценить) и актуальность (временная и контекстная) по отношению к бизнес-задаче.

По оценке эксперта, для нашего рынка в целом более характерна инсорсинговая модель ИТ и менее зрелый рынок внешних данных, в силу чего их использование более ограничено по сравнению с западным рынком. Действительно, зачастую существующие внутренние данные более детальны и ограничения их использования менее регламентированы законодательством (о персональных данных, например), нежели внешних.

Однако часть задач или просто невозможно решить или они решаются значительно менее эффективно без внешних данных, указывает Александр Хледенев, например, прогнозирование продаж на основе внутренних исторических данных без учета макроэкономических данных или прогнозы сезонных продаж без учета факторов, формирующих эту сезонность. Некоторый водораздел можно провести между анализом внутренней, операционной деятельности и внешними коммуникациями бизнеса, к которым относится клиентская аналитика (микро-сегментирование и персонализаций, скоринг клиентов (лидов), продуктовая аналитика (цена, ассортиментный анализ), аналитика продаж, анализ рынка и пр. «Внешние данные при этом получают из открытых источников (открытые базы данных, гос статистика, демография и пр.), собираются из социальных сетей, покупаются у компаний-поставщиков или на специализированных маркетплейсах, а также получают в результате обмена между компаниями (интегрированных или партнеров)»,- замечает эксперт.

Достаточно далеко в этой части продвинулись умные скоринговые модели, предназначенные для анализа кредитоспособности потенциального заемщика банка. Например, кредитные организации, которые создают собственные экосистемы, получают гораздо больше данных о своих клиентах и их потенциальных возможностях, чем коллеги-конкуренты. Но и они тоже стремятся наполнить свои озера данных дополнительными сведениями. Туда идет информация из социальных сетей: состав друзей, кто из них уже является клиентом банка, в каких группах состоит человек, как часто он заходит в соцсети, подтверждение родственных связей и т.д., рассказывают в компании «ВС Лаб».

Туда же идет информация о работодателе, причем как из баз данных (СПАРК, Контур.Фокус, ЕГРЮЛ и ЕГРИП) так и из СМИ и соцсетей. Из баз данных берется информация о состоянии компании, ее активности в госзакупках, известные данные об обороте и численности компании. Из СМИ и соцсетей собираются слухи об ухудшающемся или улучшающемся положении компании, скандалы, связанные с директором и учредителями – при этом выделяются вещи способные повлиять на скоринг. Например, у человека отличная зарплата, хорошая кредитная история, но в СМИ проходит информация, что его работодатель – банкрот, счета заморожены, и скоро все сотрудники пойдут на улицу. Это, конечно, понизит скоринговый балл для такого человека.

Эти данные предоставляют либо платные сервисы, либо различные OSINT-системы (Open source intelligence – сбор информации и анализ разведданных на основании открытых источников). Из OSINT-систем информация забирается автоматически алгоритмами ИИ в размеченном виде.

Также источниками могут служить данные с бирж, занимающихся продажей cookie, ведь в них собраны все интересы клиента банка, его поисковые запросы и многое другое. С помощью этих данных, например, ИИ может выяснить, что заемщик – постоянный клиент онлайн-казино, и при этом пришел получать кредит – банк будет реагировать соответственно.

Данные от мобильных операторов, например, по перемещению того или иного номера телефона, его активность, кто и когда ему звонит, как давно данный номер у этого абонента – все это коммерческие сервисы, которые продают данные в больших объемах, замечают специалисты «ВУ Лаб»: эти данные встраиваются в механизм ИИ, дополняя и обогащая его модель.

Основное, за счет чего ИИ добивается в этой сфере потрясающих результатов, – это большие объемы разрозненных данных, которые собираются и анализируются разными компонентами системам,- говорит Александр Хледенев.- Чем данных больше, тем более изощренные комбинации может построить ИИ, выявить больше закономерностей и связей, узнать о клиенте максимум необходимой информации.

Пример такой системы – решение HFLabs KYC компании HFLabs, которое относится к классу «Знай своего клиента». Система автоматически проверяет клиентов и контрагентов по санкционным спискам и официальным реестра перед тем, как финансовая операция будет проведена. Она работает со всеми перечнями Росфинмониторинга, выполняет проверку, необходимую по 115-ФЗ («антиотмывочное» законодательство), находит людей, внесенных в санкционные списки США, Евросоюза, ООН, Швейцарии, Великобритании. Можно узнать, не является ли человек банкротом и не предъявил ли он недействительный паспорт.

Каждый отдельный запрос обрабатывается менее, чем за секунду. А скорость регулярной проверки для всей клиентской базы, даже если она составляет 50 млн. человек, составляет около трех часов, рассказывают в компании.

Ключевой элемент системы - «Единый клиент», который агрегирует все знания о клиенте, включая сведения о родственниках и домохозяйствах, учитывает различные варианты написания и схожесть фамилий, телефонов, адресов. В компании приводят примеры:

Система увидит, что муж потенциальной заемщицы уже просрочил два кредита, и не даст разрешения на кредитование. Дочь клиента, который застраховал мясокомбинат, каждый месяц разбивает машину, но компания все равно одобрит ей КАСКО.

Источник: компания HFLabs

Еще один пример умного непрерывного анализа больших данных - интеллектуальная система мониторинга цен конкурентов PowerPrice. Эта разработка компании Napoleon IT (Наполеон Айти) проходит внедрение, в частности, в тюменской компании ALOEsmart.

Платформа Napoleon IT PowerPrice обеспечивает клиентам с помощью ИИ непрерывный поток данных о ценах конкурентов и автоматизирует процесс ценообразования, определяя оптимальные цены согласно заданной стратегии. Для получения данных о ценах конкурентов используется технология компьютерного зрения: с помощью мобильного телефона нужно сделать несколько фотографий полок с продукцией, а система извлечет данные о товарах и их цене. Это мобильное приложение, интегрированное с ERP-системой, помогает оперативно собирать данные об актуальных ценах и промоакциях других магазинов и тут же действовать в соответствии с актуальными данными.

В компании Napoleon IT говорят, что сегодня система распознает 3 млн. изображений в день.

Александр Хледенев из «ВС Лаб» полагает, что, с технологической точки зрения, непрерывный анализ внутренних и внешних данных в реальном времени, сопоставление их с историческими данными с последующим встраиванием результатов в бизнес-процессы (концепция Continuous Intelligence) можно назвать одним из самых существенных достижений современных процессов обработки данных. Он приводит в качестве уникального примера опыт компании Hershey, которая в период пандемии обнаружила повышенный спрос на один из своих продуктов: S’more - традиционный американский десерт, который дети готовят на костре во дворе Компания спрогнозировала сроки и объемы его потребления. И, вопреки предыдущей стратегии и рискам канннибализации продаж перед Пасхой, заполнила этой продукцией полки магазинов в тех регионах США, где люди оказались привязанными к своим домовладениям.

Иными словами, компания смогла увеличить производство, запасы, а также оперативно отследить реакцию на свою маркетинговую компанию и изменить обращение к потребителям на более адекватное ситуации. И это привело к росту продаж на 70 млн. долл. основного продукта компании - шоколадных плиток, которые люди покупали в дополнение к десерту.

Доверие к ИИ

Сегодня на повестке дня - проблема доверия к работе интеллектуальных механизмов и сложным моделям. Можно сказать, что достигнут некоторый технологический предел сложности задач, которые ИИ способен решать вместе с человеком. Действительно, компании стремятся включить в аналитическую обработку все больше данных разного типа, все большее количество сотрудников вовлекается в работу с данными для, чтобы принимать еще более эффективные и своевременные решения. Данные должны оставаться актуальными достоверными и единообразными, а также корректно использовались всеми участниками процесса. Корректная работа сложной модели, особенно построенной с помощью машинного обучения, - отдельная проблема, которая пока не имеет полного и окончательного решения.

В публичной сфере сегодня принято фокусировать внимание на так называемой, «проблеме выравнивания». Речь идет о выравнивании алгоритмов анализа данных и принятия решения программой ИИ и человеком, воспитанном в русле общечеловеческих ценностей. «Проблема выравнивания» для американцев выглядит следующим образом: система автоматически собирает резюме, а спустя годы обнаруживается, что в критерии отбора «зашиты» гендерные предубеждения. Для России эта проблема имеет вид задачи выбора для беспилотного авто: кто задавить в случае сложной дорожной ситуации, если иного выхода нет: старика или ребенка? Но дело, конечно, не в так называемой этике ИИ.

Создать интерпретируемый и доверенный ИИ (trusted AI) пока не удается, говорит Михаил Дудалев, начальник отдела анализа данных в компании «Фаззи Лоджик Лабс», то есть на настоящий момент нет подходов к тому, чтобы для моделей любой сложности можно было гарантировать, что они в любых условиях будут работать адекватно и давать корректные результаты. Даже в банках никто не возьмется на 100% гарантировать, что ИИ не пропустил кредитную заявку мошенника, содержащую специально подобранный набор параметров. Тимур Аитов, заместитель председателя комитета Торгово-промышленной палаты по финансовому рынку и кредитным организациям, шутит, что в этом смысле в ИИ остается только верить.

Работу над объяснительной функцией ML ведет, например, компания Qlik. Летом прошлого года она приобрела компанию NodeGraph, разработчика кастомизированных решений для управления метаданными, чтобы повысить прозрачность в работе с данными и тем самым доверие к данным как к источнику принятия решений. Интеграция NodeGraph с платформой Qlik расширит ее возможности за счет интерактивного отображения происхождения данных (Data Lineage), анализа эффективности и управления данными (data governance). Это позволит клиентам Qlik получить более полный обзор структуры конвейеров данных: от систем-источников до преобразования и использования, рассказывают в компании Qlik, то есть будет способствовать реализации «объяснимого BI».

Глубина понимания данных в NodeGraph поможет компаниям расширить доступ к данным, считают в компании, а также обеспечит программы модернизации аналитики с переносом ее в облачную среду. Для этой цели используется легкое подключение NodeGraph к облачным платформам: AWS, Google Cloud, Microsoft Azure и ряду аналитических продуктов третьих фирм, включая SSIS, Snowflake, Microsoft Power BI, Tableau.

По мнению представителей Qlik, приобретение NodeGraph способствует развитию концепции Qlik Active Intelligence: решения принимаются на основе аналитики проверенных данных, обновляемых в режиме реального времени, что повышает ценность данных в бизнесе.

Доверие к данным, в свою очередь, является ключевым элементом создания культуры Active Intelligence, при которой данные становятся неотъемлемым инструментом в решении бизнес-задач,- отмечает Майк Капоне, CEO компании Qlik.

Пожалуй, органичное встраивание аналитических операций в бизнес-процессы стоит считать главным признаком современного этапа развития систем BI. По прогнозу Gartner, 75% предприятий к концу 2024 г., будут иметь «рабочие» решения на базе ИИ.

Децентрализация в аналитических вычислениях

По мнению экспертов, заметной технологической тенденцией в ближайшие годы будет переход от фактографического анализа (в чем суть ситуации?) к предиктивному анализу (что может произойти?) и сценарному моделированию (что будет, если…?), а также дальнейшее совершенствование поиска зависимостей в данных и оценки их влияния на бизнес. Иными словами, бизнес-аналитика в смысле Business Intelligence превращается в одну из ключевых бизнес-функций, непосредственно интегрированных в систему принятия бизнес-решений на всех уровнях организации. Свойственные BI задачи сбора данных и их визуализации в виде дашбордов остаются в прошлом. А что впереди, за границами BI?

Аналитики из PWC говорят о трех волнах клиентской аналитики.

В ходе первой волны несколько десятилетий назад бизнесмены формулировали вопросы экспертам, которые организовывали поиск нужных данных и их обработку. Для второй волны характерны различные варианты централизованного сбора данных, их анализа и составления отчетности по принципу «сверху вниз». Третья волна связана с появлением персональных компьютерных средств и соответствующих инструментов типа электронных таблиц.

Сегодня наступило время децентрализованной аналитики: повысились скорости обработки данных, одновременно появились технологии хранения и масштабирования данных в распределенных средах. Инновации в области децентрализованной аналитики развивались быстрее, чем соответствующие централизованные варианты, и, по мнению компании PwC, эта тенденция сохранится в будущем.

Источник: PwC, ABBYY, 2013 г.

В русле децентрализованной аналитики эксперты говорят о значительной роли граничных вычислений. Действительно, появление все большего количества приложений IoT, которые требуют малой задержки, автономности и безопасности, критически важным становится физически приблизить аналитические вычисления к тому месту, где генерируются и используются данные.

Исследователи Gartner говорят в своем отчете «10 главных тенденций в обработке данных и аналитике», опубликованном в 2020 г., о нейроморфных микросхемах, которые позволят вынести искусственный интеллект на границы ИТ-систем и развернуть его на периферийном оборудовании.

В PWC считают, что ключевое значение для аналитики нового поколения имеет использование методов работы с большими массивами данных, в частности баз данных NoSQL и in-memory, расширенных статистических пакетов (включающих, например, ПО открытым исходным кодом, на основе языка R), средства визуализации с возможностями интерактивной графики и более интуитивные, чем ранее, пользовательские интерфейсы.

Движение за пределы классических BI-систем сегодня просматривается в нескольких направлениях, связанных с применением интеллектуальных механизмов для бизнес-анализа.

Decision Intelligence

Decision Intelligence (DI) – это технология принятия решений, которая объединяет ключевые знания из прикладного направления data science, социальных наук и науки управления. То есть DI, помимо количественных, оперирует качественными, «эмоциональными», факторами, говорит Эмиль Гасанов, product manager ИТ-компании «Наука», в своей статье «Decision Intelligence: искусственный интеллект с человеческим лицом», журнал IT Manager, январь 2022 г. С ее помощью руководители компаний могут принимать решения в соответствии, например, с политической конъюнктурой или настроениями в обществе или другими важными для конкретного сегмента деятельности деталями окружающей действительности. В этом и заключается принципиальное отличие DI-систем от BI- систем: они базируются на знаниях о бизнеса, а не на совершенстве алгоритмов.

Источник: it-world.ru/cionews/business/182334.html

С точки зрения стека ИИ-технологий, DI-система включает:

• Машинное обучение (для алгоритмизированной обработки структурированных данных и формирования решений в соответствии с заданными параметрами).
• Глубокое обучение (для выработки предложений с учетом ранее принятых решений и их результатов).
• Визуальное моделирование решений (визуальная аналитика).
• Моделирование сложных систем (быстрое построение сложной бизнес-логики на основе имеющихся данных, правил и целей).
• Предиктивная аналитика (создание максимально точных прогнозов с помощью построения самообучаемых математических моделей).

DI является попыткой усилить преимущества ИИ возможностями человеческого мышления, открывающей ряд преимуществ для бизнеса,- говорит Эмиль Гасанов.

Они приводит пример задачи повышения точности решений для стриминговых сервисов.

Существующие программные продукты с ИИ формируют предложения только на основе предпочтений человека, которые извлекаются из информации, заданной самим пользователем, истории просмотров и данных поисковых запросов. DI может добавить учет внешних факторов, например, время года, текущая погода в месте пребывания, ближайшие праздники и т.д. При этом на начальном этапе сотрудники занимаются формированием входных данных и постановкой цели. А затем анализ данных и выработку решений система производит автоматически.

Источник: it-world.ru/cionews/business/182334.html

Компания Navicon позиционирует свою систему «Дельта BI» как представителя класса Decision Intelligence. Она изначально разрабатывалась как ИТ-решение, ориентированное на поддержку принятия управленческих решений в режиме онлайн, что крайне важно в условиях экономической нестабильности. Она использует составные данные из множества наборов данных различных типов и решения ИИ для создания гибкого, удобного, адаптированного под потребности пользователей интерфейса, рассказывают в компании.

Gartner прогнозирует, что к 2023 г. треть крупных компаний и корпораций будут иметь в своем штате аналитиков, специализирующихся в области средств моделирования принятия решений (Decision Intelligence). Тем организациям, которые хотят использовать инструменты Decision Intelligence в своих организациях, Gartner напоминает, что технологии управления решениями и их моделирования при необходимости применения нескольких логических и математических методов должны быть автоматизированы, задокументированы и проверены на практике.

Аналитические решения бизнес-анализа

Магистральным направлением для систем бизнес-аналитики сегодня становится класс управленческих задач, описываемый аббревиатурой BPF (Budgeting, Planning and Forecasting), что подразумевает планирование, бюджетирование и прогнозирование. Причем, самыми востребованными функциями, по мнению аналитиков компании Syntellis, стала подготовка оперативных бюджетов и прогнозов, а также моделирование сценариев в формате «что, если». На решение этих задач ориентированы системы класса ВРМ/CPM/EPM (Business/Corporate/Enterprise Performance Management), предназначенные для анализа корпоративной эффективности.

По сути, системы этого класса обеспечивают взаимосвязь управленческих процессов на стратегическом и тактическом уровне через автоматизацию бизнес-процессов на базе единого хранилища данных. Такой подход подразумевает подход к поддержке функций управления на основе единой модели данных, рассказывают в компании Intersoft Lab.

На этом уровне аналитических исследований требуются технологии иного уровня - бизнес-аналитика (Business Analytics, BA). В отличие от BI-платформ, которые обеспечивают математическую обработку данных, BA-инструментарий требует конвертации данных в бизнес-показатели, для чего требуется обеспечить прикладную функциональность, рассказывает Юлия Амириди, заместитель генерального директора по развитию бизнеса Intersoft Lab.

Отраслевые специалисты видят широкие потенциальные возможности для использования в системах BA алгоритмов машинного и ИИ. Опрос европейских компаний, проведенный в 2020 г., продемонстрировал высокий интерес корпоративных финансовых служб к планированию и прогнозированию с помощью машинного обучения.

Источник: Модернизация BPF (budgeting, planning and forecasting) – магистральный тренд, it-weekly, 01.01.2022

В свете этой тенденции можно ожидать усиления спроса на автоматизацию прогнозной функции с применением методов ML и AI в таких датаемких отраслях, как финансовый сектор, телекоммуникации, розничная торговля и пр., считают в компании Intersoft Lab.

Российская консалтинговая группа «Консист Бизнес Групп» представила собственный продукт в категории CPM/EPM «ТУРБО Бюджетирование». Как рассказал на конференции «Информационные технологии в бюджетировании» Илья Долгобородов, директор по продукту «ТУРБО Бюджетирование», это универсальный конструктор для управления всем бюджетным циклом, позволяющий создавать формы, отчеты и графики на одном экране с общими элементами управления без программирования.

Система решает задачи стратегического управления, поддержки стратегии компании, формирования бюджетов, исходя из планов развития компании (снизу вверх) и целевых показателей деятельности (сверху вниз), а также осуществляет анализ показателей деятельности предприятия. С этой целью продукт обеспечивает консолидацию, систематизацию, аналитическую обработку операционной информации и ее визуализацию в наборы интерактивных аналитических панелей. Поддерживается обогащение данных из сторонних приложений для формирования моделей. Для выверки предлагаемых изменений в бизнесе используются финансовые модели.

Можно воспользоваться версионным, сценарным (что, если…) и план-фактным вариантом анализа с набором сценариев планирования (оптимистичный-пессимистичный). Интеграция с системами искусственного интеллекта используется для построения прогнозных моделей.

Как рассказывают в компании, мощная и быстрая система расчетов платформы ТУРБО Х, на которой базируется решение «ТУРБО Бюджетирование», построена на комбинации многомерного куба OLAP in-memory и реляционной базы, содержит ETL-инструменты для встраивания в инфраструктуру компании.

За границами дашбордов

В процессе развития функциональности систем бизнес-аналитики система дашбордов - ключевой элемент BI – остается в роли одного из проверенных инструментов аналитики.

Современного руководителя немыслимо представить без инструментов для поддержки принятия решений в виде BI-систем, говорит Алексей Цыплов, руководитель управления цифровизации производства компании «Русатом Инфраструктурные решения».

По нашему мнению, главная задача BI-системы - помогать руководителям принимать быстрые и качественные решения без рисков, связанных с ошибками из-за неправильных данных»,- говорит он. И добавляет: А для оценки качества аналитики необходимо определить метрики работы системы. Это может быть денежная выгода от принятых решений, количество дней без аварийных ситуаций и многое другое. Если созданные дашборды не востребованы руководителями, значит они не приносят пользы.

Аналитики Gartner в исследовании «10 главных тенденций в обработке данных и аналитике» отмечают, что с течением времени количество времени, которое пользователи аналитических систем проводят в дашбордах, уменьшится. Причиной является то, что средства дополненной аналитики, обработки естественного языка, потоковой аналитики и совместной работы в перспективе 3-5 лет будут полностью автоматизированы и смогут настраиваться на решение конкретных задач, возникающих перед специалистам. Таким образом, аналитика, учитывающая специфический контекст применения аналитических методов и инструментов, снижение роли дашбордов как заранее определенных панелей инструментов, снизится. В русле такого развития событий – рукой подать до self-service аналитики, управляемой самим бизнес-пользователем.

От дашбордов к self-service аналитике

Тема self-service аналитика, которая реализуется на каждом рабочем месте каждого сотрудника, сегодня весьма популярна. Но каким образом предоставлять каждому сотруднику не только удачно визуализированную отчетность (дашборд), но и персонализированную информацию, которая превращает дашборд-аналитику в систему поддержки принятия решений (СППР) руководителями или менеджерами направлений?

Действительно, сам по себе дашборд может лишь выдать информацию, опираясь на которую нужно принять решение, используя жизненный опыт, сконцентрированный в базе знаний, и данные из других систем, говорит Артем Гришковский, коммерческий директор компании «Доверенная среда». По его мнению, для перехода к персонализированной продвинутой аналитике возникает целый пласт вопросов: от доверия к данным до полноты информации для принятия решений и оперативности ее получения.

Важно чтобы СППР и BI были единым целым: от данных до рекомендации к действию, в идеале – до формирование поручения,- уверен Артем Гришковский.

Он говорит, что платформа «Триафлай» развивается, исходя именно из этих ожиданий рынка, что помогает успешно внедрять решения на платформе «Триафлай», объединяющие BI+DSS (Decision Support Systems).

В частности, региональные информационно-аналитические системы ситуационных центров на платформе «Триафлай» реализуются по принципу не просто дашборд с картинкой, а как система рекомендаций на основе данных, получаемых из разных источников, экспертной оценки и базы знаний, накопленной в регионах,- отмечает Артем Гришковский.

К 2023 году, прогнозирует Gartner, треть крупных компаний и корпораций будут иметь в своем штате аналитиков, специализирующихся в области средств моделирования принятия решений.

«Гражданская» аналитика

«Гражданская» аналитика (citizen data science) – понятие, введенное Gartner, определяет новое направление, в которое входят средства и методы, позволяющие пользователям, не обладающим профессиональными навыками в области data science, решать сложные задачи по извлечению аналитических сведений из данных. Такая «демократизация» аналитики происходит в результате объединения двух ранее автономных миров: данные и аналитические процессы.

Реализация сквозных рабочих процессов с помощью средств дополненной аналитики, стирают различия между этими сферами работы. В результате, прогнозировал Gartner в 2020 г., в течение ближайших 3-5 лет с аналитическими приложениями смогут работать не только профессионалы, но и так называемые «гражданские разработчики», то есть сотрудники бизнес-подразделений.

Так, в марте текущего года компания «Форсайт» выпустила продукт бизнес-аналитики и визуализации данных FlyBI, реализованный в парадигме гражданской аналитики. FlyBI представляет собой инструментарий для решения задач Data Discovery, ориентированный на самостоятельную работу пользователей из различных сфер бизнеса – self-service BI. Он дает возможность объединять разнородные источники данных: интегрироваться с корпоративными информационными системами и работать с гетерогенными источниками данных, в том числе, хранилищами данных, базами данных, отдельными файлами, причем, с возможностью формирования единой модели данных. Причем, есть возможность быстро подключиться к нужным источникам данных и «на лету» провести их анализ. И в этом, рассказывают в компании, заключается ключевое отличие FlyBI от традиционных BI-систем, которые предоставляют заранее определенный набор расчетных методик и выходных отчетов без возможности добавить новые источники данных или оперативно создать отчет под новую задачу.

Продукт FlyBI включает набор встроенных и внешних визуализаторов и способен поддерживать работу до 200 пользователей с активным подключением. Он может использоваться как отдельное самостоятельное решение, так и в интеграции с платформой «Форсайт. Аналитическая платформа». В перспективе компания намерена добавить в продукт FlyBI средства коллаборативной работы, что превратит его в площадку для совместных исследований команды аналитиков.

Отраслевые эксперты согласны во мнении, что гражданский аналитик – это, в первую очередь, специалист-аналитик, ведь требования к аналитическим компетенциям сотрудников растут по мере усложнения применяемых инструментов обработки данных. Алексей Выскребенцев, руководитель центра экспертизы решений компании «Форсайт», поясняет, что аналитик выполняет целый ряд интеллектуальных задач: от подготовки и структурирования данных и формулировки математической задачи до, собственно, проведения расчетов. Профессиональные аналитики окажутся не нужны только в том случае, говорит специалист, когда само интеллектуальное ПО сможет выполнить в автоматическом режиме все эти операции: получив на вход сырые данные, сформулировать аналитические концепции, собрать под них датасеты, провести расчеты и сделать выводы. Наиболее креативная часть этих работ - повышение качества данных и их достоверности, усовершенствование старых моделей и создание новых – еще долго не будет поддаваться полной автоматизации.

Впрочем, разработчики аналитических решений уже двигаются по этому пути.

Автоматизация интеллектуальных навыков человека

Сегодня на практическом уровне идет речь о консолидации возможностей в стиле: умная self-srvice аналитика + BI+DSS. Теоретически эта триада хорошо укладывается в концепцию гиперавтоматизации, выдвинутой Gartner. Она предполагает формирование на базе умной программной роботизации (RPA/IPA) «цифровой рабочей силы». Насколько реалистична идея о том, что аналитические технологии на достигнутом сегодня уровне способны создать профессиональный интеллект, опыт, навыки цифрового сотрудника?

Сегодня сложно сегодня дать четкое описание образа «цифрового помощника», полноценно заменяющего сотрудников и закрывающего потребности в автоматизации не только рутинных, но и операций, содержащих интеллектуальную составляющую. Этот образ будет формироваться через эксперименты и опыт проектов,- говорит Артем Гришковский, коммерческий директор компании «Доверенная среда».

Однако на примере «Триафлай» - платформы бизнес-аналитики (BI) и платформы поддержки принятия решений (DSS) – можно увидеть тенденции встраивания инструментов, дополняющих классический портрет BI-продуктов.

Артем Гришковский выделяет четыре аспекта такого развития:

1. Крайне важным является набор технологических средств, которые позволят обеспечить доверие к данным, так как без доверия к данным принятие решений как человеком, так и «роботом» не представляется возможным,- рассказывает.
2. Решение строится на модели — цифровом образе бизнес-процесса. Следовательно, нужны инструменты, которые позволят гибко, оперативно настраивать модели, вносить корректировки, создавать так называемые «цифровые двойники».
3. Необходимы базы знаний, то есть экспертные оценки, исторические данные, которые в привязке к многофакторным моделям позволят корректировать, обучать модели и уже в режиме «робот» предлагать варианты решений.
4. Само по себе решение, предлагаемое системой, не имеет смысла, если оно не воплощено в управляющее воздействие — поручение, что также требует внедрения новых инструментов.

По словам Артема Гришковского, продукт «Триафлай» строится как комплексная платформа автоматизации поддержки принятия решений, включающая эти вышеперечисленные инструменты. При этом в настоящий момент акцент делается на автоматизацию работы аналитиков и экспертов. В проектах внедрения, которые реализованы на платформе «Триафлай», формируются базы знаний, которые в ближайшей перспективе позволят говорить о возможности полной автоматизации принятия решений, уверен коммерческий директор компании «Доверенная среда».

О том, как на практическом уровне решается задача повышения доверия к данным в больших аналитических системах, можно судить на примере ВТБ. Банк построил работу с факторами кредитного риска (ФКР) на базе машинного обучения, что позволило повысить на несколько процентных пунктов показатель Gini, оценивающий точность прогнозных моделей. На момент запуска проекта в 2018 г. для расчета скорингового балла было выбрано 22 фактора кредитного риска для корпоративных клиентов.

Источник: блог ВТБ на Habr.com, 2018 г.

Корпоративное информационное хранилище (КИХ) – основное хранилище данных банка – стало одним из источников данных для модели. Фактически Data Lake = КИХ+ внешние источники данных. Данные из внешних источников отражают аффилированность, B2B-связи и др.

Система расчета рейтингов (СРР) – одна из основных баз данных, применяемая для оценки рисков корпоративных клиентов,- содержит бизнес-информацию о рейтингах предприятий, показатели финансовой отчетности и т.п. Данные СРР дополняются информацией из различных файлов, в числе которых – данные для текущей работы дата-сайентистов.

В банке рассказывают, что Hadoop- кластер легко масштабируется, что обеспечивает свободу в увеличении объемов данных, потребляемых моделями. Причем, отдельные модели могут выполнять свои вычисления параллельно. Но самое главное - показатель Jini. При этом аналитикам не нужно обращаться к ИТ-специалистам с просьбой написать SQL-запросы к КИХ, чтобы потом обрабатывать модели на своих рабочих местах. Аналитики могут составлять запросы самостоятельно, а это значит, что скорость процессов радикально сокращается.

Умный помощник человека-аналитика

Конечно, искусственного интеллекта, равного человеческому, не будет еще очень долго. Поэтому «умное предприятие», равно как и «умный офис», - это интеллект реальных людей, а не программных роботов,- говорит Валерий Андреев, заместитель генерального директора по науке и развитию компании ИВК.

В частности, алгоритмы не смогут заменить грамотного аналитика, который видит картину происходящего целиком и замечает появление важных аномалий, считает Марина Романова, руководитель отдела консалтинга по аналитическим решениям подразделения ERP компании «Т1 Консалтинг».

Более того, интеллектуальные ИТ, обеспечивая человека умными вспомогательными инструментами, устанавливают новую планку качества работы аналитика, уверен Артем Гришковский: не просто отвечать на поставленные вопросы, обращаясь к имеющимся данным, а генерировать новые нетривиальные знания и предложения по их использованию на благо компании. Например, уже сегодня, рассказывают в компании «ВС Лаб», с помощью продукта класса OSINT можно, например, определить технологический потенциал той или иной новой ниши рынка, выявить ключевые направления технологического развития, понять, каким образом связаны между собой эти направления, какие конкретные люди и компании занимаются этими вопросами, и каким образом они связаны между собой.

Иными словами, ИИ может осуществить детальный бизнес-анализ технологической ниши, которая кажется перспективной, но финальное решение о начале действий и их характере все рано остается за человеком,- говорит Александр Хледенев.

Один из шагов к автоматическому формированию новых знаний на основе имеющихся данных - объединение структурированных и неструктурированных данных для совместного анализа.

Действительно, работающие сегодня механизмы анализа документов и текстов на естественном языке, включая мультимедийные источники данных: поиск упоминаний, категоризация и извлечение фактов, семантический анализ для определения эмоциональной окраски, оценки интереса, отношения, выявление закономерностей и т.д. - требуют обязательного участия человека, отвечающего за формирование запросов и осмысленное формирование схем предметных областей (источники данных, критерии и особенности, обязательные сущности, атрибуты и связи). Автоматизация возможна на пути использования формализма онтологий для описания предметной области, характеризующейся определенной логической структурой.

Выделение структуры предметной области (онтологии) — это первый шаг по приведению неструктурированных данных к структурированному виду,- говорит Артем Гришковский в своей статье «Интегрированная обработка неструктурированных данных (Открытые системы. СУБД).- Каждая отдельная предметная область — это только подмножество неструктурированного набора данных, поэтому для максимально возможного охвата данных и, как следствие, более полного анализа необходимо выделить максимально возможное количество различных предметных областей, которые будут участвовать в анализе.

К сформированным структурам применимы инструменты поиска, визуализации, анализа, фильтрации, моделирования, прогнозирования, выделения закономерностей, выделения эмоциональной окраски, категоризации и извлечения фактов, продолжает эксперт:

Сформированные структуры успешно участвуют в кросс-анализе со структурированными источниками данных.

Источник: Артем Гришковский. Интегрированная обработка неструктурированных данных//Открытые системы. СУБД, 2013, № 06

В рамках данного подхода онтология это логическая структура, которая связана с одной или несколькими физическими структурами хранения данных в базе данных. В идеале онтология представляет собой абстрактный логический уровень, отделяющий аналитика-пользователя от структур хранения данных. Таким образом, всю работу с данными, формирование запросов и отчетов аналитик осуществляет в терминах схемы онтологии, то есть той самой предметной области, в которой работает человек.

В среде российских разработчиков аналитических систем накоплен солидный опыт создания продуктов такого рода. Например, лингвистический процессор OntosMiner, предназначенный для построения сложных систем текстового мониторинга и анализа данных (разработка компании «Авикомп Сервисез», ныне входящей в состав «Объединенной приборостроительной корпорации». OntosMiner анализирует текст с использованием онтологий и словарей, доступных для редактирования пользователем, а также специальных эвристик.

Онтологическиее модели способны снимать многозначность слов, что, в частности, помогает реализовать автоматический перевод текстов. Например, разработчики продукта демонстрировали его возможности для распознавания слов на языках, которым система не обучалась. Например, редакция CNews рассказывала в 2015 г., как после анализа большого числа текстовых документов на русском языке о китайских персонах (в частности, тексты о Сун Цинлин, супруге китайского революционера Сунь Ятсена), система начинает распознавать иероглифическое начертание их имен. Это объясняется тем, что у имен в иероглифическом начертании система обнаруживает такие же семантические связи, как у имен, записанных на кириллице или латинице.

Сами разработчики одним из важнейших свойств своей системы называют возможность ее настройки самим заказчиком: OntosMiner позволяет осуществлять тонкую настройку лингвистического процессора под специфические цели компании с помощью технологий машинного обучения.

Semantic Archive Platform – это аналитический инструмент, разработанный компанией «Аналитические бизнес решения», который позволяет автоматизировать всю технологическую цепочку решения аналитических и разведывательных задач, начиная от сбора необходимой информации, ее интеллектуального анализа и заканчивая удобным представлением отчетов.

Платформа дает возможность с максимальной полнотой анализировать и применять разнородную информацию для своевременного принятия оптимальных управленческих и бизнес-решений, говорят в компании:

• проводить комплексную проверку контрагентов, партнеров, сотрудников в разных странах мира, вести конкурентную и бизнес-разведку;
• искать любую информацию о физических и юридических лицах, формировать досье и оценивать риски ведения бизнеса;
• проводить глубокий анализ связей собственников компаний, исследовать связи крупных холдингов и корпораций и пр.;
• осуществлять мониторинг и анализ политической, социальной и экономической ситуации;
• расследовать коррупционные, террористические, криминальные и финансовые схемы.

Источник: компания «Аналитические бизнес решения»

Среди используемых технологий: Text mining (извлечение ценной информации из большого числа неструктурированных данных), OSINT (использование всех открытых источников информации: СМИ, соцмедиа, онлайн базы данных, форумы, блоги и пр.), онтологическая модель и возможности изменения онтологической модели базы данных без привлечения программистов. Так, компании могут создавать собственные базы знаний по различным направлениям деятельности.

Еще одно технологическое направление демонстрирует устойчивый рост в области аналитики – графовые решения. Сергей Громов говорит о растущем уровне зрелости решений Graph Processing в бизнес-аналитике.

Например, группа компаний «Кронос-Информ», которая занимается разработкой прикладного ПО для обработки структурированной и полнотекстовой информации, а также созданием на его основе автоматизированных систем сбора, обработки и анализа информации, использует в качестве ядра системы инструментальную СУБД CronosPRO, которая использует сетевую модель данных для поддержки задач современной высокопроизводительной аналитики.

Как рассказывают в компании, систему CronosPRO отличает сочетание высокой скорости работы с экономичным размещением данных на диске: динамическое сжатие позволяет в 1,5 – 2 раза уменьшить объем данных.

Следующий материал обзора "Технологии искусственного интеллекта" >>>
Главная страница обзора "Технологии искусственного интеллекта" >>>

Другие материалы обзора "Технологии искусственного интеллекта"

• Обработка данных в глубинных нейронных сетях: достижения и вызовы текущего момента
• ИИ: от данных – к знаниям
• Обработка документов и текстов на естественном языке
• Умная обработка процессов
• Умные речевые сервисы
• Интеллектуальная видеоаналитика
• Новые вызовы для задач информационной безопасности
• Умное производство
• Виртуальные помощники
• Умный город
• Заключение. Куда катится мир практических реализаций ИИ?

Другие материалы по теме ИИ

• Рынок искусственного интеллекта в России достиг точки перелома. Обзор TAdviser 2020
• Искусственный интеллект (ИИ, Artificial intelligence, AI)
• Искусственный интеллект (рынок России)
• Искусственный интеллект (мировой рынок)
• Компьютерное зрение: технологии, рынок, перспективы
• Системы видеоаналитики Каталог систем и проектов видеоаналитики
• Национальная стратегия развития искусственного интеллекта
• Машинное обучение, Вредоносное машинное обучение, Разметка данных (data labeling)
• RPA - Роботизированная автоматизация процессов
• Видеоаналитика (машинное зрение)
• Машинный интеллект
• Когнитивный компьютинг
• Наука о данных (Data Science)
• DataLake (Озеро данных)
• BigData
• Нейросети
• Чатботы
• Умные колонки Голосовые помощники
• Искусственный интеллект в разных сферах: в банках, медицине, радиологии, ритейле, ВПК, производственной сфере, образовании, Автопилот, транспорте, логистике, спорте, СМИ и литература, видео (Дипфейки (DeepFake), FakeApp), музыке
• Беспилотные автомобили в мире
• Беспилотные автомобили в России