Мы, люди, умеем брать любые предметы, даже не задумываясь об этом. Одной из причин, почему мы это делаем, является то, что когда мы были маленькими, то потратили много времени на обучение этим действиям. Но робототехники, которые не могут ждать пока их роботы «вырастут», ищут способы упрощения данного процесса. В лаборатории Google Research они установили более десятка роботизированных рук и тестировали их в течение нескольких месяцев на захват объектов, которые являются тяжелыми, легкими, плоскими, большими, маленькими, жесткими, мягкими итп.

Вы можете взять любой предмет с закрытыми глазами, но вы гораздо лучше это сделаете, если будете следить за своими руками, взаимодействуя с объектом. В робототехнике этот процесс называется «визуальное наблюдение», и в дополнение к улучшению точности захвата, это делает возможным для робота хватать объекты, когда они движутся или изменяют ориентацию, что очень распространено в ситуациях реального мира.

Обучение роботов – это навык, который может быть сложным, потому что не всегда очевидные связи между данными с датчиков и действиями робота совпадают. Способ сделать это эффективнее - позволить роботам учиться на своем опыте, вместо того, чтобы пытаться просто следовать программе.

В Google Research команда исследователей с помощью коллег из центра X поставила задачу создать руку-манипулятор с 7 степенями свободы для захвата объектов в беспорядочном положении, и использовала глубокие нейронные сети (CNN), чтобы предсказать результат захвата. За счет CNN роботы непрерывно переобучают себя (начиная с большого количества неудач, но постепенно становятся все лучше и успешней), а также ускоряют данный процесс. Они полностью автономные: люди только должны сделать за наполняемостью контейнеров предметами и питанием роботов.

По словам ученых: «По сути, робот постоянно предсказывает результат, наблюдая за движением его собственной руки, угадывая, какое последующее движение будет максимально увеличивать шансы на успех. В результате непрерывной обратной связи мы получаем то, что можно назвать «зрительно-моторной координацией». Наблюдая за поведением робота после более чем 800 000 попыток захвата, что эквивалентно около 3000 часам работы роботов, мы можем видеть начало интеллектуальных форм поведения. Робот наблюдает за своим захватом и корректирует свои движения в режиме реального времени. Он также демонстрирует интересные модели поведения, предварительно выделяя отдельные объекты из группы. Все эти модели поведения возникают естественным образом из обучения, а не запрограммированы в системе».

С 14 задействованными в эксперименте роботами больше данных собираются намного быстрее, но в то же время, происходит много непреднамеренных изменений. Камеры расположены немного по-разному, освещение немного отличается для каждого робота, и каждый из захватов, активированных двумя пальцами, проявляет различные виды износа, что влияет на производительность.

Достоинством является то, что роботы в конечном итоге становятся пригодными для таких вещей, как захват самых разных предметов. В будущей работе исследователи планируют усовершенствовать данный вид обучения роботов. Они также хотели бы исследовать, как этот метод может быть применен к роботам в реальном мире, которые подвергаются воздействию различных факторов в самых разнообразных средах, условиях освещения и износа.

Было использовано от шести до 14 рук роботов; данное число увеличилось в течение эксперимента. Было проведено около 200 000 попыток. После этого эксперимент продолжили до 800000 захватов.