Робот FRIDA с искусственным интеллектом сотрудничает с людьми для создания произведений искусства, сообщили в Университет Карнеги Меллон.

В Институте робототехники Университета Карнеги-Меллона появился новый постоянный художник.

FRIDA, роботизированная рука с приклеенной к ней кистью, использует искусственный интеллект для совместной работы с людьми над произведениями искусства.

FRIDA, названная в честь Фриды Кало, расшифровывается как Framework and Robotics Initiative for Developing Arts. Проект возглавляет Шальденбранд вместе с преподавателями РИ Джин О и Джимом Макканном, и он привлек студентов и исследователей из КМУ.

Пользователи могут направлять FRIDA, вводя текстовое описание, отправляя другие произведения искусства, чтобы вдохновить ее стиль, или загружая фотографию и попросив ее нарисовать с нее изображение. Команда экспериментирует и с другими входными данными, в том числе со звуком.

«FRIDA — это роботизированная система рисования, но FRIDA — не художник», — рассказал руководитель программы Шальденбранд: «FRIDA не генерирует идеи для коммуникации. FRIDA — это система, с которой может сотрудничать художник. Художник может указать для FRIDA высокоуровневые цели, а затем FRIDA сможет их выполнить».

Робот использует модели искусственного интеллекта, похожие на такие инструменты, как OpenAI ChatGPT и DALL-E 2, которые генерируют текст или изображение соответственно в ответ на запрос. FRIDA моделирует, как будет рисовать изображение мазками кисти, и использует машинное обучение для оценки своего прогресса в процессе работы.

Конечные продукты FRIDA импрессионистичны и причудливы. Мазки жирные. Им не хватает точности, которую так часто ищут в робототехнике. Если ФРИДА допускает ошибку, она ее рифмует, включая заблудшее пятно краски в конечный результат.

«FRIDA — это проект, исследующий пересечение человеческого и роботизированного творчества, — рассказал Макканн: «FRIDA использует модели искусственного интеллекта, которые были разработаны, чтобы делать такие вещи, как изображения подписей и понимать содержание сцены, и применять его к этой художественной генеративной проблеме».

Если другие инструменты для создания изображений, такие как DALL-E 2 от OpenAI, используют большие языковые модели для создания цифровых изображений, то FRIDA делает еще один шаг вперед и использует роботизированную систему для создания физических картин.

Одной из самых больших технических проблем при создании физического изображения является уменьшение разрыва между симуляцией и реальностью, разницы между тем, что FRIDA создает в симуляции, и тем, что она рисует на холсте.

FRIDA использует идею, известную как real2sim2real. Фактические мазки робота используются для обучения симулятора отражению и имитации физических возможностей робота и материалов для рисования.

Команда представит свое последнее исследование в рамках проекта «FRIDA: совместный робот-художник с дифференцируемой средой планирования Real2Sim2Real» на Международной конференции IEEE по робототехнике и автоматизации 2023 года в мае этого года в Лондоне.