Как это работает
Модель MGIE, над которой Apple работала вместе с Калифорнийским университетом в Санта-Барбаре, позволяет обрезать, изменять размер, переворачивать и добавлять фильтры к изображениям с помощью текстовых подсказок.
Смотрите также Вся ваша жизнь станет учебным полигоном для нового искусственного интеллекта Марка Цукерберга
MGIE, что расшифровывается как MLLM-Guided Image Editing, можно применять как для простых, так и сложных задач редактирования изображений, таких как изменение определенных объектов на фотографии, чтобы придать им другую форму или сделать их ярче.
Модель сочетает в себе два разных способа использования мультимодальных языковых моделей. Сначала она учится интерпретировать подсказки пользователя. Затем она "представляет", как будет выглядеть редактирование (например, просьба сделать небо на фотографии более голубым превращается в увеличение яркости на части изображения, посвященной небу).
Редактируя фото с помощью MGIE, пользователи просто вводят текстом то, что они хотят изменить в изображении. В статье использован пример редактирования изображения пиццы пепперони. Просьба "сделать ее более здоровой" добавляет овощную начинку. Фотография тигров в Сахаре выглядит темной, но после того, как пользователь просит "добавить больше контраста, чтобы имитировать больше света", снимок становится ярче.
Примеры использования ИИ от Apple / Скриншот 24 Канала
Apple сделала MGIE доступным для загрузки через GitHub, а также выпустила вебдемонстрацию Hugging Face Spaces, сообщает VentureBeat. Компания не сообщила, какие у нее планы на модель после завершения исследований. Предположительно, она станет частью iOS и будет поставляться в составе смартфонов iPhone.
Некоторые платформы для создания изображений, такие как DALL-E 3 от OpenAI, могут выполнять простые задачи по редактированию фотографий, которые они создают с помощью ввода текста. Создатель Photoshop, компания Adobe, к которой большинство людей обращается для редактирования изображений, также имеет собственную модель редактирования с искусственным интеллектом. Ее модель Firefly AI обеспечивает генеративную заливку, которая добавляет сгенерированные фоны к фотографиям, а также может заменить целые куски фотографии на то, что вам нужно – достаточно лишь выделить область и написать свой запрос.