Дополненная реальность помогает слепым

Дополненная реальность помогает слепым

Представьте себе, что вы впервые заходите в незнакомое помещение. Если вы человек, который может видеть, вам достаточно просто осмотреться, чтобы увидеть обстановку, предметы, препятствия. Для слепых людей это серьезное ограничение – они должны использовать другие чувства, чтобы сориентироваться и найти дорогу в новом пространстве.

В скором времени у слабовидящих и слепых людей может появиться новый навигационный помощник, благодаря исследователям Калифорнийского технологического института, которые объединили алгоритмы компьютерного зрения с дополненной реальностью для создания ПО, позволяющего объектам “говорить”. Технология представлена в виде носимой портативной гарнитуры, которая переводит оптический мир в простую человеческую речь, помогая ориентироваться в незнакомом пространстве.

Работа выполнена в лаборатории Маркуса Майстера профессором биологических наук Бенджамином Биаггини и опубликована 27 ноября в журнале eLife.

“Представьте, что вы находитесь в мире, где все объекты вокруг вас имеют голоса и могут говорить с вами. Объекты, находящиеся в той точке куда вы направите свой взгляд активируются и сообщат свои имена. Можете себе представить, каково это – передвигаться в таком мире, выполняя некоторые из многих задач, для которых мы обычно используем наше зрение? Поэтому мы озвучили объекты”, – комментирует Майстер.

Во главе с аспирантом Ян Лю, команда ученых разработала систему, которую назвали CARA (Cognitive Augmented Reality Assistant), или когнитивный помощник дополненной реальности. CARA была создана с использованием гарнитурного компьютера под названием HoloLens, разработанного Microsoft, который может сканировать пространство, окружающее пользователя и идентифицировать отдельные объекты. С CARA каждый объект в среде получает свой голос и “произносит” свое имя по команде пользователя. Технология использует так называемый пространственный звук, который заставляет объекты звучать по-разному в зависимости от их местоположения в комнате. Например, если объект находится далеко слева от пользователя, его голос будет звучать так, как будто он идет слева. А чем ближе объект, тем будет выше тон его голоса.

Чтобы избежать какофонии объектов, говорящих одновременно CARA имеет несколько различных режимов. В первом, так называемом режиме прожектора, объект называет только свое имя когда пользователь поворачивается к нему голову, а высота голоса объекта создает представление относительно его расстояния от пользователя. Таким образом, пользователь с ослабленным зрением может “оглядываться”, чтобы исследовать окружающую среду. Во втором режиме, называемом режимом сканирования, среда сканируется слева направо и называются имена всех распознанных объектов. Третий режим – это целевой режим, в котором пользователь может выбрать один из объектов и использовать его в качестве ориентира для навигации.

Для того чтобы проверить практическое применение CARA, исследователи разработали тестовый маршрут для слепых добровольцев через одно из зданий Калифорниского технологического института. Вначале был подготовлен сам маршрут через здание с использованием HoloLens, который сканировал среду и сохранил ее в памяти. Затем слепым добровольцам было предложено пройти этот маршрут, используя CARA в качестве помощника-навигатора. Под руководством CARA все семь добровольцев успешно выполнили задание с первой попытки. Голос электронного проводника рассказал пользователям о лестницах, поручнях, поворотах и тому подобных вещах.

Несмотря на то, что CARA все еще находится на ранней стадии, она выигрывает из-за быстрого развития алгоритмов компьютерного зрения. Исследователи уже внедряют новые схемы для идентификации объектов и пешеходов в режиме реального времени. В конце концов, они надеются, что такие места, как банки, гостиницы и торговые центры, будут предлагать устройства CARA для использования их слепыми клиентами.

Источник: techxplore.com