Система локализации MSSPlace, созданная в Институте ИИ МФТИ, комбинирует данные с камер, лидаров и семантических карт и позволяет роботам точно распознавать места и определять их местоположение при любой погоде и освещении. Это необходимо для создания адаптивных дронов, беспилотных автомобилей, роботов-уборщиков, курьеров, способных быстро ориентироваться в постоянно меняющихся условиях. Исследование опубликовано в журнале IEEE Access.
Традиционные навигационные системы полагаются либо на камеры, не дающие точных расстояний, либо на лидары, которые строят 3D-карты без детализации объектов. В результате робот может «потеряться» даже в знакомом месте, если изменится освещение, погода или положение предметов. Новая нейросетевая архитектура MSSPlace иначе обрабатывает информацию: отдельные модули независимо анализируют данные с нескольких камер, лидаров, а также семантические маски и текстовые аннотации наблюдаемых сцен. Так формируется единый дескриптор — компактное цифровое описание места, комплексно характеризующее местоположение.
Перемещаясь в пространстве, робот собирает базу таких дескрипторов для всех посещенных локаций.
«Когда интеллектуальному транспортному средству нужно понять, где он находится, система вычисляет дескриптор текущего места и находит наиболее похожие варианты в базе. Ключевую роль играют семантические маски — упрощенные изображения, где каждый объект подписан (“здание”, “дерево”, “дорога”). Они нечувствительны к изменениям освещения, времени суток и сезона, благодаря чему “память” робота остается устойчивой в самых сложных погодных условиях», — пояснил Александр Мелехин, инженер-исследователь лаборатории интеллектуального транспорта МФТИ, один из разработчиков системы.
Вместо того чтобы полагаться только на один источник — камеру или лидар, система объединяет несколько типов информации (модальностей).
«В нашем методе используются модальности изображений, облаков точек лидара, текстового описания сцены, их комплексирование для точной глобальной локализации роботов является нерешенной научной проблемой. Ее решение особенно важно в условиях отсутствия или искажений сигналов спутниковой навигации (GPS, Glonass). В своем исследовании мы получили обнадеживающие результаты, которые вошли в состав открытой программной библиотеки OpenPlaceRecognition, которую может попробовать в своих проектах каждый», — рассказал Дмитрий Юдин, заведующий лабораторией интеллектуального транспорта Центра когнитивного моделирования из Института искусственного интеллекта МФТИ.
Такая система необходима для создания беспилотных автомобилей, роботов-уборщиков и курьеров, адаптивных дронов, способных быстро ориентироваться в постоянно меняющейся среде.
В будущем ученые планируют адаптировать созданную модель MSSPlace для работы на реальных роботизированных платформах и беспилотных автомобилях, а также решить проблему ориентации на обширных пустых пространствах без уникальных объектов и при экстремальном изменении освещения.
