AR цифровая навигация

Цифровой сервис навигации на основе технологий дополненной реальности с возможностью предоставления пользователям дополнительной информации, основанной на их местоположении

О решении

Приложения дополненной реальности (Augmented Reality) предоставляют возможность пользователю взаимодействовать с цифровыми объектами, спроецированными поверх реальной среды, а также связывать реальные объекты с цифровой информацией. В зданиях, имеющих нестандартную планировку, сложную структуру, к которым относится НИЯУ МИФИ, быстро ориентироваться могут лишь те, кто постоянно посещает такие здания, а для неподготовленного человека ориентирование в таких местах крайне неудобно. В случае использования приложения цифровой навигации по НИЯУ МИФИ посетители дней открытых дверей, научных конференций, олимпиад, семинаров и первокурсники смогут быстро и легко находить необходимый путь к интересующему их месту. Кроме того, посетители НИЯУ МИФИ смогут также получать интересную информацию в дополненной реальности, например справку об академиках, памятники которым установлены перед главным корпусом.

Технологии

Результаты работы над проектом

На текущий момент создан прототип приложения дополненной реальности на межплатформенной среде разработки Unity, разработана методика 3D сканирования помещений с использованием технологии LiDAR. На основе разработанной методики выполнено пробное сканирование помещения и построение 3D объекта с использованием данных сканирования. Также реализован алгоритм привязки виртуального трехмерного объекта к реальному окружению.

Для реализации навигации в дополненной реальности требуется цифровой двойник здания, для которого разрабатывается система. Он может быть построен с применением информационного моделирования зданий (BIM-технологий). Технология информационного моделирования зданий позволяет передать геометрию, структуру и семантику моделируемого объекта. Для построения цифрового двойника мы использовали лазерное сканирование. Данный подход основан на технологии LiDAR (Light Detection and Ranging). LiDAR представляет собой активный дальномер оптического диапазона, позволяющий формировать двухмерную или трехмерную картину окружающего пространства. Принцип действия LiDAR построен на способности световых волн рассеиваться в любых средах, что дает возможность как определять расстояние до отражающих поверхностей, так и фиксировать интенсивность рассеянного излучения в прозрачных средах. В качестве излучателя как правило выступает лазер, работающий в инфракрасном диапазоне и генерирующий импульсы высокой мощности. Периодичность импульсов выбираются таким образом, чтобы расстояние между двумя последовательными импульсами было не меньше, чем время отклика от обнаруженных целей. Цифровая локализация внутри помещений позволит решить целый спектр задач от навигации по зданиям, до визуализации контекстных данных помещения или целых строений.

Для восстановления трехмерной поверхности из имеющегося облака точек мы использовали Ball pivoting algorithm. Суть алгоритма заключается в том, чтобы сымитировать использование виртуальной сферы для создания сетки из облака точек. В результате реконструкции трехмерной поверхности был получен фрагмент цифрового двойника. Дальнейшая работа с облаком точек сводится к сегментации данных:

• Предоставление возможности обобщать облако точек, разбиением его на группы

• Создание компактного представления данных, в котором последующая обработка данных сводится к работе с региональными группами, а не со всеми данными целиком

• Выявление взаимосвязей между окрестностями, графами и топологией, которых нет в необработанных данных

Для реализации самого приложения необходима трехмерная модель помещения, восстановленная из облака точек на подготовительном этапе. Ранее созданная модель была импортирована в движок Unity. Возможность перемещения пользователя внутри виртуального окружения обеспечивается с помощью навигационной поверхности. Для этого необходимо выбрав трехмерную модель помещения произвести так называемое запекание. Специальный алгоритм выделяет поверхности, расположенные на одном уровне перпендикулярно оси Y и выстраивает новую поверхность, по которой в дальнейшем возможно построение пути.

При приближении к конечной точке маршрута на экране смартфона пользователя отображается информация о точке назначения: в прототипе это данные о владельце кабинета, его должности, номере телефона и адресе электронной почты

Галерея