БАКУ, 7 апр — Sputnik. Для простейших действий с предметами роботы должны иметь приличное количество навыков, говорится в статье на arXiv.org.
Среди таких навыков - умение распознавать объекты, рассчитывать оптимальное место захвата или другого действия, планировать траекторию перемещения манипулятора и предсказывать свойства объектов. Последний особо важен, если роботы будут взаимодействовать с мягкими объектами.
Нарезка овощей - одна из модельных задач, позволяющих отработать нужные для взаимодействия с различными объектами навыки. Именно в процессе этого робот должен работать с предметами, деформирующимися при взаимодействии с ножом.
Необычный подход для решения проблемы нашли ученые из Университета Карнеги - Меллон. Для начала они обучили робота возможности предсказывать толщину ломтика и оставшегося овоща по одной двумерной фотографии.
Для такого эксперимента был создан датасет, состоящий из пар изображений, сделанных до и после разрезания. Более того, ученые обучили нейросеть обнаруживать овощи с помощью датасета из примерно четырех тысяч огурцов и помидоров. Во время обучения нейросети для предсказания толщины ломтика инженеры научили ее переводить исходные данные в виде снимка в векторное представление.
Таким образом, они получили обученную часть нейросети, способную связывать снимки овощей с их свойствами. После обучения промежуточного алгоритма разработчики приступили к обучению основного: его задача заключается в том, чтобы составить траекторию движения манипулятора с ножом.
Инженеры провели эксперименты на роботе с камерой и двумя манипуляторами, один из которых отвечает за фиксацию овоща на доске, а второй держит нож и отрезает ломтики. Во время нарезания манипулятор двигает нож к овощу и останавливается во время контакта. Далее он поднимает нож, передвигает на рассчитанное заранее расстояние, обеспечивающее нужную толщину ломтика, и приступает к отрезу, во время которого имитирует движения людей во время аналогичного действия.
