Американский инженер создал умные очки, понимающие, на что именно смотрит пользователь, и распознающие его жесты по отношению к этому объекту. К примеру, они позволяют взмахом руки включить лампу или музыку на колонке, рассказывает разработчик на странице проекта на GitHub.

На сегодняшний день существует множество систем умного дома, позволяющих управлять устройствами, не прикасаясь к ним. Многие из них работают на основе голосовых помощников и принимают команды в голосовом виде. Например, колонку Яндекса можно попросить включить умную лампу с помощью голосовой команды. Но если многие устройства в доме подключены к такой системе, возникает проблема: как определить, о каком именно устройстве говорит пользователь?

Инженер Ник Билд (Nick Bild) создал умные очки, понимающие, на какой именно предмет, подключенный к системе умного дома, показывает пользователь. Он взял за основу не готовые умные очки с камерой, а обычные солнцезащитные очки и дополнительную электронику. На одной из дужек он закрепил камеру для одноплатного компьютера Raspberry Pi, которая через провод подключена к плате NVIDIA Jetson Nano. Эту плату инженер разместил в картонной коробке, которую можно повесить на шею.

Разработчик реализовал управление устройствами жестами с помощью двух сверточных нейросетей. Одна из них распознает объекты в кадре, а вторая распознает жесты руки. Если алгоритмы получают комбинацию из известных объекта и жеста, очки с помощью Wi-Fi посылают команду на устройство.

Разработчик реализовал управление устройствами жестами с помощью двух сверточных нейросетей. Одна из них распознает объекты в кадре, а вторая распознает жесты руки. Если алгоритмы получают комбинацию из известных объекта и жеста, очки с помощью Wi-Fi посылают команду на устройство.