Используемая система называется Dense Object Nets. При помощи неё робот может смотреть на предметы, которые раньше не видел, определять их форму и далее уже выполнять простые действия по их перемещению.
Машина осматривает объект под разными углами. Нейросеть распознаёт его как совокупность точек в системе координат. Каждой точке предмета сеть присваивает координату. Из набора этих данных получается форма. Далее робот сопоставляет форму с занесёнными в его базу классами предметов.
Проще один раз увидеть! На этом видео учёные продемонстрировали, как машина сначала распознаёт обувь, а потом по команде поднимает отдельные ботинки за язычок. Как видно, цвет и модель обуви не влияют на успешность этого эксперимента.
Ранее роботы постоянно сталкивались с проблемами в работе с физическими объектами, пояснили учёные MIT.
"Существующие алгоритмы не позволяют роботу взять чашку за ручку, особенно если чашка лежит на боку или перевернута вверх дном".
Система Dense Object Nets позволит использовать роботов как в промышленном производстве, так и в домашнем хозяйстве, уверены исследователи.