Apple наконец-то выпускает свой первый полноценный искусственный интеллект: что он умеет

Как это работает

Модель MGIE, над которой Apple работала вместе с Калифорнийским университетом в Санта-Барбаре, позволяет обрезать, изменять размер, переворачивать и добавлять фильтры к изображениям с помощью текстовых подсказок.

Смотрите также Вся ваша жизнь станет учебным полигоном для нового искусственного интеллекта Марка Цукерберга

MGIE, что расшифровывается как MLLM-Guided Image Editing, можно применять как для простых, так и сложных задач редактирования изображений, таких как изменение определенных объектов на фотографии, чтобы придать им другую форму или сделать их ярче.

Модель сочетает в себе два разных способа использования мультимодальных языковых моделей. Сначала она учится интерпретировать подсказки пользователя. Затем она "представляет", как будет выглядеть редактирование (например, просьба сделать небо на фотографии более голубым превращается в увеличение яркости на части изображения, посвященной небу).

Редактируя фото с помощью MGIE, пользователи просто вводят текстом то, что они хотят изменить в изображении. В статье использован пример редактирования изображения пиццы пепперони. Просьба "сделать ее более здоровой" добавляет овощную начинку. Фотография тигров в Сахаре выглядит темной, но после того, как пользователь просит "добавить больше контраста, чтобы имитировать больше света", снимок становится ярче.

Примеры использования ИИ от Apple / Скриншот 24 Канала

Apple сделала MGIE доступным для загрузки через GitHub, а также выпустила вебдемонстрацию Hugging Face Spaces, сообщает VentureBeat. Компания не сообщила, какие у нее планы на модель после завершения исследований. Предположительно, она станет частью iOS и будет поставляться в составе смартфонов iPhone.

Некоторые платформы для создания изображений, такие как DALL-E 3 от OpenAI, могут выполнять простые задачи по редактированию фотографий, которые они создают с помощью ввода текста. Создатель Photoshop, компания Adobe, к которой большинство людей обращается для редактирования изображений, также имеет собственную модель редактирования с искусственным интеллектом. Ее модель Firefly AI обеспечивает генеративную заливку, которая добавляет сгенерированные фоны к фотографиям, а также может заменить целые куски фотографии на то, что вам нужно – достаточно лишь выделить область и написать свой запрос.

Apple до сих пор не была крупным игроком в сфере генеративного ИИ, в отличие от Microsoft, Meta или Google, но генеральный директор Apple Тим Кук заявил, что компания хочет добавить больше функций ИИ на свои устройства в этом году.