Yandex Cloud выложил нейросеть для экомониторинга в открытый доступ

2022

Выпуск нейросети для экомониторинга в открытый доступ

Облачная платформа Yandex Cloud 20 декабря 2022 года опубликовала исходный код алгоритма машинного обучения для экомониторинга Байкала. Технология помогает анализировать пробы воды: определять и классифицировать содержащиеся в ней микроорганизмы. Теперь биологи и ML-специалисты по всему миру смогут использовать нейросеть для разработки собственных систем мониторинга водоемов и отслеживать важные экологические тренды. Алгоритм опубликован на GitHub по открытой лицензии Apache 2.0.

В открытый доступ выложены датасеты, модели машинного обучения и документация для мониторинга. Такой набор поможет тестировать гипотезы по детекции, сегментации и классификации объектов в разных научных проектах. В частности разработчики смогут выявлять проблемы в балансе микроорганизмов водных объектов, и следовательно — помогать сохранять водоемы в неизменном состоянии дольше.

Доступность технологий — один из наших ключевых приоритетов. Яндекс не только систематически выкладывает в опенсорс свои собственные решения, но и помогает развивать открытый исходный код в совместных проектах со сторонними разработчиками. Публикуя алгоритм экомониторинга с MaritimeAI, мы продолжаем следовать нашим главным принципам. Разработка поможет не просто решить задачу конкретной научной группы, а тестировать гипотезы о состоянии водных объектов повсюду. Ведь Байкал — далеко не единственное место на планете, где ведется подобный мониторинг, — рассказал Алексей Башкеев, руководитель платформы Yandex Cloud.

Запуск нейросети

Команда ученых и разработчиков запустила нейросеть для экомониторинга Байкала на облачной платформе Yandex Cloud. Об этом 23 сентября 2022 года сообщил Яндекс. Алгоритм машинного обучения (ML) анализирует пробы воды из озера, определяет и классифицирует содержащиеся в ней микроорганизмы. Уже на конец сентября 2022 года нейросеть умеет работать с 70 формами планктона, которые чаще всего встречаются в пробах. Внедрение искусственного интеллекта упростит работу биологов, которые много лет подсчитывали и определяли микроорганизмы вручную.

Проект мониторинга экосистемы озера «Точка №1» длится с 1945 года. Его ведут специалисты НИИ биологии Иркутского государственного университета. Более 75 лет в одной точке озера регулярно берут пробы воды с глубины до 250 метров. Потом ученые анализируют фито- и зоопланктон в пробах и отслеживают, как меняется состав и состояние озера, выделяют климатические тренды. Нейросеть в проекте помогает биологам автоматизировать весь цикл мониторинга и, впоследствии, быстрее получать данные для новых исследований. Вместе с учеными НИИ нейросеть разрабатывали компания MaritimeAI, команда платформы Yandex Cloud и Фонд поддержки прикладных экологических разработок и исследований «Озеро Байкал».Как DevOps-сервис помогает «разгрузить» высоконагруженные системы BPMSoft 2.2 т

Биологи предоставили почти 50 тысяч изображений проб, из которых 20 тысяч было использовано для обучения алгоритмов. Теперь изображения проб с микроскопов автоматически передаются в облачную платформу Yandex Cloud. Алгоритм определяет мельчайших рачков, их видовую принадлежность и формирует отчетные карточки. Нейросеть продолжает обучаться в сервисе для разработки и эксплуатации ML-алгоритмов Yandex DataSphere. Разметка данных происходила с помощью краудсорсингового сервиса Толока.

В будущем участники проекта планируют масштабировать мониторинг и отслеживать состояние воды в других точках Байкала. Также разработчики последовательно будут выкладывать в open source технологии, которые используются в проекте. Это поможет разрабатывать собственные системы мониторинга водоемов другим научным группам и институтам по всему миру.

В перспективе алгоритм может стать фундаментом национальной или даже глобальной системы мониторинга водоемов. Эта система позволит решать такие задачи, как контроль биологической безопасности и распространения инвазивных видов; экологический контроль состояния водных местообитаний; контроль и прогнозирование продуктивности водоемов для интересов рыборазведения и рыболовства. Также алгоритм можно использовать как инструмент для описания и открытия новых видов, сказал Максим Тимофеев, доктор биологических наук, директор НИИ биологии ИГУ.

Научное сообщество и образовательные организации делают все больше открытий в облаке. Одна из приоритетных задач нашей платформы – создать надежный трамплин для легкого использования облачных сервисов в исследовательских проектах. В Yandex Cloud запускали систему мониторинга урожая, создавали алгоритм для беспилотного гоночного болида, исследовали темную материю. Нейросеть для экологического мониторинга Байкала – особый проект и для нас, и для всего сообщества, невероятный по своему масштабу и значимости, добавил Алексей Башкеев, генеральный директор облачного провайдера Yandex Cloud.

Для нас нейросеть является хорошим примером построения систем поддержки принятия решений и применением ML в области экологии. Хотя внутренние алгоритмы не являются прорывными с точки зрения архитектуры нейронных сетей, их комбинация позволяет решать сложные задачи. Еще один нюанс – постоянно меняющиеся данные. В рамках проекта нам постоянно будут попадаться новые объекты. Благодаря этому наша сеть, ей подобные и в целом подход Active Learning будут получать все более широкое применение, отметил Сергей Орешков, специалист по компьютерному зрению MaritimeAI.

Начало работы нейросети – важный шаг в развитии самого длительного проекта по регулярному экологическому мониторингу озера Байкал. Цифровизация проекта стала возможной исключительно благодаря многостороннему партнерству между бизнесом, наукой и гражданским обществом, экспертизе каждого из вовлеченных участников. Надеемся, что этот кейс внедрения нейросети заложит основу для использования технологии искусственного интеллекта и на других точках экологического мониторинга и популяризирует практику межсекторального сотрудничества в интересах устойчивого развития, рассказала Евгения Елькина, старший менеджер Фонда поддержки прикладных экологических разработок и исследований «Озеро Байкал».

2021: Создание алгоритма для мониторинга экосистемы Байкала

22 июня 2021 года стало известно о том, что объединённая команда учёных и разработчиков создаст нейросетевой алгоритм для мониторинга экосистемы Байкала. Алгоритм будет автоматически анализировать пробы байкальской воды, распознавать и классифицировать содержащиеся в ней микроорганизмы. Такой анализ облегчит работу учёных, которым на июнь 2021 года приходится различать более 400 видов байкальского планктона и систематизировать данные вручную.

Данное технологическое решение будет использоваться в проекте экологического мониторинга Байкала «Точка №1». Проект заключается в регулярном анализе фито- и зоопланктона в воде озера. Наблюдения показывают, как развивается экосистема Байкала и как на неё влияет изменение климата на планете. Алгоритм позволит не только автоматизировать анализ планктона, но и масштабировать проект, открыв новые точки наблюдения.

В работе над созданием алгоритма принимают участие специалисты НИИ биологии Иркутского государственного университета, разработчики моделей искусственного интеллекта для изучения морских экосистем MaritimeAI, команда облачной платформы Yandex.Cloud и Фонда поддержки прикладных экологических разработок и исследований «Озеро Байкал».

Для обучения алгоритма учёные из НИИ биологии ИГУ предоставили более 1000 снимков каждого вида планктона. На основе этих данных команда Maritime AI создаст механизм классификации видов планктона с использованием Yandex DataSphere — сервиса Yandex.Cloud для анализа данных, разработки и эксплуатации моделей машинного обучения. Изображения микроорганизмов будут передаваться в Yandex.Cloud прямо с микроскопов лаборатории НИИ биологии ИГУ, и алгоритм будет автоматически определять видовую принадлежность планктонных частиц. Предполагается, что алгоритм будет определять до 99% всех видов планктона, а специалисты института биологии будут контролировать качество его работы. Рабочий прототип системы будет представлен уже летом 2021 года.

Проект «Точка №1» появился в 1945 году и входит в Книгу рекордов России как самый длительный проект регулярного экологического мониторинга в истории науки. На протяжении более чем 75 лет учёные каждые 7–10 дней берут пробы воды с глубин от 0 до 800 метров. Накопленные данные позволяют следить за состоянием экосистемы Байкала и прогнозировать её развитие.

В последние годы проект «Точка №1» находился под угрозой закрытия. Методика распознавания данных, которую применяют в проекте, технологически устарела. Ученые определяют виды микроорганизмов с использованием классических методов микроскопии. Для этого специалисту необходимо научиться различать более 400 видов фито- и зоопланктона, подготовка такого специалиста занимает более 10 лет непрерывной практики. Для поддержания проекта потребовалось бы несколько десятков специалистов высокого уровня, согласных при этом на выполнение рутинных операций. Для сохранения и развития проекта ученые НИИ Биологии ИГУ и Фонда «Озеро Байкал» сформулировали цель - создать интеллектуальную систему цифровой поддержки процесса анализа проб с использованием технологии искусственного интеллекта, которую можно обучить распознаванию микроорганизмов, чтобы автоматизировать основной объем рутинной работы ученых.

Практическая реализация задачи упиралась в барьер - создание такой нейросети с нуля требовало технической экспертизы и ИТ-инфраструктуры, которых не было у НИИ биологии ИГУ. Эксперты в области ИИ платформы Yandex.Cloud предложили использовать в проекте облачные вычислительные мощности, а также сервис для ML-разработки DataSphere, который ускоряет разработку моделей искусственного интеллекта. Также команда Yandex.Cloud помогла привлечь в проект экспертов по созданию ML-алгоритмов для изучения морских экосистем - компанию Maritime AI.

На июнь 2021 года учёные определяют виды микроорганизмов с использованием классических методов микроскопии. Для этого им необходимо научиться различать более 400 форм фито- и зоопланктона, на это уходит более 10 лет почти непрерывной работы. В Yandex.Cloud мы решили помочь учёным применить сервис Yandex DataSphere, чтобы облегчить их работу и вывести проект сбора и анализа данных о стоянии Байкала на более высокий уровень, сказал Алексей Башкеев, руководитель платформы Yandex.Cloud.

Сообщество фито- и зоопланктона является по сути фундаментом всей экосистемы Байкала. Понимая процессы в этом фундаменте, их динамику, мы можем делать прогнозы по векторам развития всей экосистемы озера. Мониторинговый проект „Точка №1` отличается ем, что позволяет сделать анализ на основе долговременных и непрерывных рядов наблюдений, накопленных за 75 лет. Партнёрство с Yandex.Cloud позволит решить важную задачу по переводу мониторинга с технологических подходов XX века на парадигму XXI века: с ручного анализа проб на методы с использованием машинного распознавания и обучения. При этом мы сможем не только сохранить преемственность всей многолетней программы, но и масштабировать проект, запустив дополнительные точки наблюдений, отметил Максим Тимофеев, доктор биологических наук, директор НИИ биологии ИГУ.