Роботам дали сверхчеловеческое зрение с помощью радиосигналов

В гонке за разработку надёжных систем восприятия для роботов одной из постоянных проблем является работа в плохую погоду и суровых условиях. Например, традиционные датчики зрения на основе света, такие как камеры или LiDAR (Light Detection And Ranging), не справляются с сильным дымом и туманом.

Однако природа показала, что зрение не обязательно должно быть ограничено ограничениями света — многие организмы выработали способы восприятия окружающей среды без опоры на свет. Летучие мыши ориентируются, используя эхо звуковых волн, а акулы охотятся, улавливая электрические поля от движений своей добычи.

Радиоволны, длины волн которых на несколько порядков больше световых волн , могут лучше проникать сквозь дым и туман и даже видеть сквозь определенные материалы — все эти возможности находятся за пределами человеческого зрения. Однако роботы традиционно полагались на ограниченный набор инструментов: они либо используют камеры и LiDAR, которые обеспечивают детальные изображения, но не справляются со сложными условиями, либо традиционный радар, который может видеть сквозь стены и другие преграды, но выдает грубые изображения с низким разрешением.

Новый способ увидеть

Теперь исследователи из Школы инженерии и прикладных наук Пенсильванского университета (Penn Engineering) разработали PanoRadar — новый инструмент, который даёт роботам сверхчеловеческое зрение путём преобразования простых радиоволн в подробные трёхмерные изображения окружающей среды.

«Наш первоначальный вопрос заключался в том, сможем ли мы объединить лучшее из обоих методов зондирования», — говорит Мингмин Чжао, доцент кафедры компьютерных и информационных наук. «Надежность радиосигналов, устойчивых к туману и другим сложным условиям, и высокое разрешение визуальных датчиков».

В докладе, который будет представлен на Международной конференции по мобильным вычислениям и сетям ( MobiCom 2024 ), которая пройдёт с 18 по 22 ноября в Вашингтоне (округ Колумбия), Чжао и его команда описывают, как PanoRadar использует радиоволны и искусственный интеллект (ИИ), чтобы позволить роботам ориентироваться даже в самых сложных условиях, например, в задымленных зданиях или на туманных дорогах.

В состав команды из Лаборатории беспроводных технологий, аудиотехники, машинного зрения и электроники для датчиков (WAVES) и Центра исследований в области встраиваемых вычислений и комплексной системной инженерии (PRECISE) Университета Пенсильвании входят аспирант Хаовэнь Лай, недавний выпускник магистратуры Гаосян Ло и научный сотрудник бакалавриата Ифэй (Фредди) Лю.

Вращается как маяк

PanoRadar — это датчик, работающий как маяк, который сканирует своим лучом весь горизонт. Система состоит из вращающегося вертикального массива антенн, который сканирует своё окружение. Вращаясь, эти антенны посылают радиоволны и слушают их отражение от окружающей среды, подобно тому, как луч маяка обнаруживает присутствие кораблей и прибрежных объектов.

Благодаря возможностям ИИ PanoRadar выходит за рамки этой простой стратегии сканирования. В отличие от маяка, который просто освещает различные области при вращении, PanoRadar умело объединяет измерения со всех углов вращения для повышения разрешения изображения. Хотя сам датчик стоит лишь часть стоимости обычно дорогих систем LiDAR, эта стратегия вращения создает плотный массив виртуальных точек измерения, что позволяет PanoRadar достигать разрешения изображения, сравнимого с LiDAR.

«Главное новшество заключается в том, как мы обрабатываем эти измерения радиоволн», — объясняет Чжао. «Наши алгоритмы обработки сигналов и машинного обучения способны извлекать богатую трёхмерную информацию из окружающей среды».

Обучение ИИ

Одной из самых больших проблем, с которой столкнулась команда Чжао, была разработка алгоритмов для поддержания высокого разрешения изображений во время движения робота. «Чтобы достичь разрешения, сопоставимого с LiDAR, с помощью радиосигналов, нам нужно было объединить измерения из множества разных положений с точностью до миллиметра», — объясняет Лай, ведущий автор статьи. «Это становится особенно сложным, когда робот движется, поскольку даже небольшие ошибки движения могут существенно повлиять на качество изображений».

Ещё одной проблемой, с которой столкнулась команда, было обучение системы понимать то, что она видит. «Внутренние среды имеют постоянные закономерности и геометрию», — говорит Луо. «Мы использовали эти закономерности, чтобы помочь нашей системе ИИ интерпретировать сигналы радара, подобно тому, как люди учатся понимать то, что они видят». В процессе обучения модель машинного обучения опиралась на данные LiDAR, чтобы сверить своё понимание с реальностью, и смогла продолжить самосовершенствование.

«Наши полевые испытания в разных зданиях показали, как радиозондирование может преуспеть там, где традиционные датчики терпят неудачу», — говорит Лю. «Система обеспечивает точное отслеживание сквозь дым и может даже картировать пространства со стеклянными стенами».

Это связано с тем, что радиоволны не так легко блокируются частицами в воздухе, и система может даже «захватывать» то, что не может LiDAR, например, стеклянные поверхности. Высокое разрешение PanoRadar также означает, что он может точно обнаруживать людей, что является критически важной функцией для таких приложений, как автономные транспортные средства и спасательные операции в опасных условиях.

Заглядывая вперед, команда планирует изучить, как PanoRadar может работать вместе с другими сенсорными технологиями, такими как камеры и LiDAR, создавая более надёжные, мультимодальные системы восприятия для роботов. Команда также расширяет свои испытания, чтобы включить различные роботизированные платформы и автономные транспортные средства.

«Для задач с высокими ставками наличие нескольких способов восприятия окружающей среды имеет решающее значение», — говорит Чжао. «У каждого датчика есть свои сильные и слабые стороны, и, разумно их комбинируя, мы можем создавать роботов, которые лучше оснащены для решения реальных задач».

Её конек схемы в бизнесе, банковской и финансовой сфере.