Исследовательская лаборатория Армии США (ARL) объявила о разработке системы обзора местности, распознавания объектов и их семантической маркировки, а также выполнения голосовых команд. Как пишет MIT Technology Review, в перспективе подобная система позволит организовывать смешанные подразделения «люди-роботы», которые на поле боя смогут взаимодействовать так же, как взаимодействуют между собой бойцы. Частично успешные испытания системы на нескольких роботах состоялись в октябре 2019 года.

На протяжении последних лет в интересах американских военных ведутся несколько исследовательских программ и разработок, конечной целью которых является создание роботов, способных точно понимать человеческую речь, выполнять команды людей и докладывать об их выполнении. При этом такие роботы, оснащенные системами искусственного интеллекта, должны будут уметь объяснить человеку, почему они в ходе выполнения задания приняли то или иное решение.

В сентябре прошлого года министерство обороны США опубликовало «дорожную карту» развития военных роботов. Документ описывает видение того, какими должны стать беспилотные летательные аппараты, наземные, надводные и подводные роботы к 2042 году. К наиболее приоритетным направлениям развития таких систем американские военные отнесли открытую архитектуру, модульность конструкции, высокую степень автоматизации и формирование смешанных подразделений из людей и роботов.

В проекте разработки системы распознавания местности и голосовых команд, контролируемом ARL, принимают участие несколько организаций, включая Массачусетский технологический институт, Институт робототехники Университета Карнеги-Меллона, QinetiQ North America, General Dynamics Land Systems, Лаборатория реактивного движения NASA, Университет центральной Флориды и Пенсильванский университет. Исследования проводятся в рамках программы RCTA (Robotics Collabrative Technology Alliance).

Система, разработанная в рамках проекта для роботов, состоит из вычислительного блока на базе четырехъядерного процессора Intel Core i7, лидара и оптико-электронных камер. С использованием нейросетей для системы были разработаны несколько алгоритмов. В итоге с помощью такой системы робот, перемещаясь, может составить обзорную карту местности, распознать расположенные на ней объекты, присвоить им семантические метки, а также получить расширенную информацию для некоторых объектов. Кроме того, система позволяет распознавать голосовые команды.

В частности, роботу, оборудованному новой системой, можно отдать команду: «Посмотри, что происходит за зданием». Если в обзорной карте робота несколько объектов отмечены семантической меткой «здание», робот уточнит, какое именно строение имеется в виду. Во время испытаний новой системой был оборудован небольшой четырехколесный робот Husky с манипулятором. Ему отдавались команды расчистить местность, убрать конкретный предмет с дороги или провести разведку. При необходимости убрать предмет, робот должен был самостоятельно определить, как этот предмет лучше захватить манипулятором.

В общей сложности были проведены три испытания. Два из них прошли полностью успешно: робот понимал голосовые приказы и успешно их выполнял. Третье испытание прошло частично успешно: хотя робот и справился с распознаванием команд, разработчикам потребовалось его перезагрузить — во время выполнения задания у аппарата зависла навигационная система.

При этом созданная специалистами система частично полагается на хардкодинг: параметры распознаваемых объектов заранее прописаны программистами и просто извлекаются роботом из базы. К примеру такого хардкодинга, например, относится прописывание параметров автомобиля — робот может самостоятельно распознать автомобиль и присвоить ему соответствующую семантическую метку, но параметры машины (количество колес, наличие двигателя, количество дверей, расположение фар) заранее жестко прописываются программистами.

При этом исследователи уже ведут разработку алгоритма для автоматического определения параметров распознанного объекта. Когда именно может появиться такой алгоритм, пока неизвестно.

В конечном итоге военные рассчитывают получить систему, которой можно будет отдавать не только однозначные приказы, вроде «загляни за дальний правый автомобиль», но и задавать вопросы, связанные с оценкой вероятности выполнения миссии: «Я думаю, ты сможешь выполнить это задание. Как считаешь?». Проект RCTA рассчитан на десять лет. По итогам программы американские военные рассчитывают получить роботов, которых можно будет использовать для разведки или расчистки пути от мин, взаимодействуя с ними не хуже, чем с дрессированными собаками.