С помощью искусственного интеллекта исследователи из MIT научили робота изготавливать мебель по запросу
Исследователи из Массачусетского технологического института объявили о создании системы «speech-to-reality» (речь-реальность). Этот рабочий процесс, основанный на искусственном интеллекте, позволяет команде MIT голосом вводить данные в роботизированную руку и изготавливать такие вещи, как мебель, всего за пять минут.
Система использует установленную на столе роботизированную руку, которая может понимать речевые команды человека. Например, можно сказать роботу: «Я хочу простой табурет», и робот изготовит табурет из модульных компонентов.
На данный момент исследователи университета использовали систему «речь-реальность» для создания табуретов, полок, стульев, небольшого стола и даже декоративных предметов, таких как статуя собаки.
Проект MIT фокусируется на битах и атомах
«Мы объединяем в одном процессе обработку естественного языка, 3D-генеративный ИИ и роботизированную сборку», — пояснил Александр Хтет Кяу, аспирант MIT и стипендиат Morningside Academy for Design (MAD). — «Это быстро развивающиеся области исследований, которые ранее не взаимодействовали таким образом, чтобы можно было создавать физические объекты просто по голосовой команде».
Идея возникла, когда Кяу, аспирант факультетов архитектуры и электротехники и компьютерных наук, посетил курс профессора Нила Гершенфельда «Как сделать почти все».
На этом курсе он создал систему преобразования речи в реальность. После курса Кяу продолжил работу над проектом в Центре битов и атомов (CBA) — исследовательском центре MIT — под руководством Гершенфельда совместно с аспирантами Се Хваном Чон с факультета машиностроения и Мианой Смит из CBA.
Как система работает?
Система «речь-реальность» начинает работу с распознавания речи, которое обрабатывает запрос пользователя с помощью большой языковой модели (LLM). Затем при помощи 3D-генеративного ИИ создается цифровая сетчатая модель объекта, а алгоритм вокселизации разбивает 3D-сетку на составные компоненты.
После этого в ходе геометрической обработки сгенерированная ИИ сборка модифицируется с учетом производственных и физических ограничений, которые могут возникнуть при выполнении в реальном мире, в том числе количество компонентов, выступы и связность геометрии.
Затем задается осуществимая последовательность сборки и автоматическое планирование траектории для роботизированной руки, чтобы по запросам пользователя собрать физические объекты.
По заявлению команды MIT, из-за использования естественного языка система делает проектирование и производство более доступными для людей без опыта в 3D-моделировании или программировании роботов. И, в отличие от 3D-печати, которая может длиться часы или даже дни, эта система может собирать объекты за считанные минуты.
«Этот проект предоставляет возможность взаимодействия между людьми, ИИ и роботами для совместного преобразования окружающего нас мира», — сказал Кяу. — «Представьте себе ситуацию, когда вы говорите: «Я хочу стул», и в течение пяти минут перед вами появляется физический стул».
Кяу планирует усовершенствовать систему
Команда MIT заявила, что планирует улучшать несущую способность мебели за счет смены магнитов на более прочные способы соединения кубов.
«Мы также разработали конвейеры для преобразования воксельных структур в осуществимые последовательности сборки для небольших распределенных мобильных роботов, что может помочь применять эти методы к структурам любого размера», — сказала Миана Смит.
Использование модульных компонентов позволяет избежать отходов, которые образуются при изготовлении физических объектов, поскольку дает возможность разборки уже готового объекта и последующей сборки в нечто другое. Например, команда могла бы превратить диван в кровать, когда пользователю диван больше не нужен.
Поскольку Кяу также имеет опыт использования распознавания жестов и дополненной реальности для взаимодействия с роботами, в настоящее время он работает над включением в систему «речь-реальность» как речевого управления, так и управления жестами. Кяу сказал, что вдохновением для него послужили репликаторы из франшизы «Звездный путь» и роботы из анимационного фильма «Большой герой 6».
«Я хочу расширить доступ людей к созданию физических объектов быстрым, доступным и устойчивым способом», — сказал он. — «Я работаю над будущим, в котором сама сущность материи будет находиться под контролем человека. Будущим, в котором реальность можно будет создавать по запросу».
Команда представила свою работу «Speech to Reality: On-Demand Production using Natural Language, 3D Generative AI, and Discrete Robotic Assembly» (Речь в реальность: производство по запросу с использованием естественного языка, 3D-генеративного ИИ и дискретной роботизированной сборки) на симпозиуме Ассоциации вычислительной техники (ACM) по вычислительному производству, который состоялся в MIT 21 ноября.
Оригинал: The Robot Report
