Apple наконец-то выпускает свой первый полноценный искусственный интеллект: что он умеет
Источник:
arXivИсследователи Apple выпустили новую модель ИИ, которая позволяет пользователям простым языком описать, что они хотят изменить на фотографии. Вам больше не нужны специализированные программы для редактирования фотографий.
Как это работает
Модель MGIE, над которой Apple работала вместе с Калифорнийским университетом в Санта-Барбаре, позволяет обрезать, изменять размер, переворачивать и добавлять фильтры к изображениям с помощью текстовых подсказок.
Смотрите также Вся ваша жизнь станет учебным полигоном для нового искусственного интеллекта Марка Цукерберга
MGIE, что расшифровывается как MLLM-Guided Image Editing, можно применять как для простых, так и сложных задач редактирования изображений, таких как изменение определенных объектов на фотографии, чтобы придать им другую форму или сделать их ярче.
Модель сочетает в себе два разных способа использования мультимодальных языковых моделей. Сначала она учится интерпретировать подсказки пользователя. Затем она "представляет", как будет выглядеть редактирование (например, просьба сделать небо на фотографии более голубым превращается в увеличение яркости на части изображения, посвященной небу).
Редактируя фото с помощью MGIE, пользователи просто вводят текстом то, что они хотят изменить в изображении. В статье использован пример редактирования изображения пиццы пепперони. Просьба "сделать ее более здоровой" добавляет овощную начинку. Фотография тигров в Сахаре выглядит темной, но после того, как пользователь просит "добавить больше контраста, чтобы имитировать больше света", снимок становится ярче.
Примеры использования ИИ от Apple / Скриншот 24 Канала
Apple сделала MGIE доступным для загрузки через GitHub, а также выпустила вебдемонстрацию Hugging Face Spaces, сообщает VentureBeat. Компания не сообщила, какие у нее планы на модель после завершения исследований. Предположительно, она станет частью iOS и будет поставляться в составе смартфонов iPhone.
Некоторые платформы для создания изображений, такие как DALL-E 3 от OpenAI, могут выполнять простые задачи по редактированию фотографий, которые они создают с помощью ввода текста. Создатель Photoshop, компания Adobe, к которой большинство людей обращается для редактирования изображений, также имеет собственную модель редактирования с искусственным интеллектом. Ее модель Firefly AI обеспечивает генеративную заливку, которая добавляет сгенерированные фоны к фотографиям, а также может заменить целые куски фотографии на то, что вам нужно – достаточно лишь выделить область и написать свой запрос.