ПНИПУ: Антропоморфный робот-симулятор (тренажер для студентов-стоматологов)

Основные статьи:

• Роботы (робототехника)
• Роботы в медицине
• Стоматология

2024: Разработка системы для качественной оценки лечения зубов

Ученые Пермского Политеха разработали систему для качественной оценки лечения зубов с использованием робота-тренажера. Об этом университет сообщил 5 декабря 2024 года.

𝓲

ПНИПУ

Ранее ученые Пермского Политеха разработали антропоморфный робот-симулятор – тренажер для студентов-стоматологов с технологиями ИИ. Нейросети во-первых, позволяют вести диалог с роботом, а во-вторых, нужны для распознавания объектов на изображении, чтобы оценивать результаты лечения зубов студентами. При этом система должна надежно локализовать и детально оценить сам изменяющийся объект – зуб в ротовой полости тренажера, его свойства и то, как они меняются в ходе операции. Для этого ученые ПНИПУ разработали двухступенную схему распознавания и усовершенствовали методы обработки, что до 92% повысило точность в нестабильных условиях съемки. Теперь нейросеть оценивает не только количественные показатели (размеры, глубину отверстия для пломбы, толщину снятого слоя эмали), но и качественные, например, правильно ли выполнена фрезеровка, нет ли скосов, равномерны ли дно и стенки зуба.Дмитрий Бородачев, DатаРу Облако: Наше преимущество — мультивендорная модель предоставления облачных услуг

Исследование проводилось при финансовой поддержке Пермского НОЦ «Рациональное недропользование». Проект «антропоморфного стоматологического симулятора» – это тренажер для студентов-стоматологов, на котором учащиеся могут безопасно отрабатывать свои навыки в проведении основных процедур – лечение кариеса, обработка зуба под коронку, удаление и лечение канала. Встроенная нейросеть с помощью видеокамер позволяет оценить результаты работы, обрабатывая полученные изображения.

𝓲

ПНИПУ

Современные нейросети способны определять множество объектов разных классов без применения каких-либо дополнительных схем. Обычно для поиска и классификации объектов на фотографиях используют простую одноступенную нейросеть. Она, например, может с высокой точностью находить зубы в челюсти тренажера, несмотря на постоянное изменение освещенности и самой формы объекта в ходе лечения. Но если необходимо проанализировать не сам объект, а только его часть, допустим, небольшую пломбу, задача усложняется, повышается количество ложных срабатываний. Нейросеть может ошибочно принимать блики и неровности внутри полости рта за искомые отверстия в зубе или совсем пропускать их.

Ученые Пермского Политеха разработали двухступенную схему распознавания, которая анализирует фото в поисках составных объектов (отдельных зубов), вырезает, нормализует их по размерам и анализирует каждый фрагмент по отдельности для определения искомых мелких объектов (пломб, отверстий).

𝓲

ПНИПУ

На первой ступени производится поиск области интереса, т.е. первая нейросеть определяет только объекты «зуб» и «зуб с дыркой». Они вырезаются и передаются на вторую ступень, где распознаются уже отверстия в зубах и их свойства, — объяснил Андрей Кокоулин, доцент кафедры автоматики и телемеханики ПНИПУ, кандидат технических наук.

Предварительная обработка фото особенно актуальна для определения свойств малых объектов, так как их изменения сложнее обнаружить. Она позволяет устранить шум, повысить контрастность и яркость, а также улучшить четкость, что делает изображение более информативным. Из-за того, что зубы имеют цвет близкий к белому, на них плохо видны контуры вырезанных отверстий. Также мешает отсвечивание подсветки, необходимой для работы камер. Политехники дополнительно встроили в систему программу для улучшения контраста, которая сохраняет локальные детали и структуры изображения, что важно для точного определения границ мелких объектов на изображении.

𝓲

ПНИПУ

Форма зуба представляет собой кривую, и в ходе процедуры важно вычислять размеры его границ, глубину отверстий и количество снятой эмали. Для этого ученые разработали метод измерения объекта сложной формы, позволяющий проводить расчеты в трех измерениях.

Применение нашей двухступенной системы до 92% увеличило точность и до 5% уменьшило количество ложноположительных срабатываний. Для каждого варианта лечения нейросеть может определить свои количественные параметры. Для «кариеса» и «канала» — размеры полости под пломбу, для «коронки» — толщину и равномерность снятого слоя с боков и сверху зуба. А также качественные показатели — правильно ли выполнено лечение, не сломался ли зуб при удалении и насколько ровные стенки, — поделился Андрей Кокоулин.

Политехники отмечают, что в перспективе возможно создание мобильного приложения, с помощью которого можно сфотографировать вылеченный зуб (еще без пломбы или коронки) и оценить качество лечения. Также предложенный метод анализа можно использовать везде, где нужна съемка различных составных конструкций и механизмов со множеством деталей. Разработанная учеными ПНИПУ система на основе нейросети существенно улучшает обучение студентов на стоматологическом тренажере, а также вносит большой вклад в развитие современной технологичной медицины в России.