Как это будет работать
Интеграция новых технологий позволит ассистенту Eney выполнять большинство своих привычных задач локально, используя мощность чипов Apple Silicon серии M1 и более поздних версий. Благодаря этому запросы пользователей, их файлы и результаты работы модели будут оставаться исключительно на устройстве, рассказали 24 Каналу в компании MacPaw.
Такий підхід гарантує абсолютну конфіденційність персональних даних, мгновенну швидкість відповідей без затримок на зв'язок з сервером, а також можливість працювати без підключення до інтернету. Облачные вычисления будут задействоваться только для выполнения чрезвычайно сложных или длительных задач, где они остаются более эффективным инструментом.
Совместная разработка сочетает в себе эффективные модели общего назначения Liquid Foundation Models (LFM) от Liquid AI с собственными технологиями MacPaw. В частности, речь идет о фреймворке для инференса Elix, который обеспечивает быструю работу ИИ в условиях ограниченных ресурсов процессора и памяти, не замедляя работу других программ.
Вторым ключевым компонентом является Mnemos – слой долговременной памяти, позволяющий помощнику сохранять контекст предыдущих разговоров, изучать привычки пользователя и становиться со временем все более полезным, при этом оставляя все эти знания под контролем владельца Mac.
Почти два десятилетия мы создавали программное обеспечение для Mac, а теперь объединяем отдельные продукты в единую технологическую экосистему, в которой ИИ – это технология, которую мы сами разрабатываем и которой владеем,
– отмечает основатель и генеральный директор MacPaw Александр Косован.
По его словам, искусственный интеллект должен по умолчанию быть конфиденциальным, быстрым и использовать облачный сервис только тогда, когда это действительно необходимо. "Объединяя инженерную экспертизу MacPaw с моделями Liquid AI, мы создаем AI-стек для Mac, где интеллект работает на устройстве, а личные данные пользователя остаются защищенными", – добавляет он.
Что известно о Liquid AI?
Компания Liquid AI, основанная в 2023 году, является ответвлением главной исследовательской лаборатории искусственного интеллекта Массачусетского технологического института (CSAIL). Ее соучредителями стали директор лаборатории Даниэла Рус, генеральный директор Рамин Хасани, технический директор Матиас Лехнер и директор по безопасности Александр Амини. Они разработали архитектуру Liquid Neural Networks, вдохновившись нервной системой нематоды Caenorhabditis elegans. Эта архитектура делает ИИ чрезвычайно компактным и энергоэффективным, что идеально подходит для локального запуска. Их решения уже используют такие гиганты, как Mercedes-Benz, Insilico Medicine и Shopify.
"Мы создаем эффективные фундаментальные модели и инструменты для них, чтобы компании могли внедрять интеллект в устройства, которыми уже пользуются их клиенты,
– комментирует соучредитель и генеральный директор Liquid AI Рамин Хасани.
Он подчеркивает, что это партнерство предоставит эффективные и конфиденциальные локальные модели миллионам пользователей Mac.
Как будет работать новый AI-стек?
Партнерство не является обычным контрактом с вендором, а представляет собой глубокую совместную R&D-работу двух инженерных команд. Специалисты MacPaw принимают непосредственное участие в обучении и оценке моделей на основе реальных задач пользователей.
При этом личные файлы не используются для обучения – модели обучаются на синтетических данных, а MacPaw передает только агрегированные и анонимизированные паттерны использования. Безопасность также гарантируется нативной моделью разрешений macOS: Eney запрашивает подтверждение для доступа к новым данным или выполнения потенциально опасных действий.
В MacPaw отмечают, что их разработка дополняет Apple Intelligence. Тестирование показало, что базовых моделей Apple (AFM) пока недостаточно для полноценной работы помощника Eney, поэтому компания создает собственный полный стек.
Запуск модели локально – это лишь первый шаг, тогда как самым сложным является построение агентных процессов и обеспечение их надежной работы. После успешного внедрения в Eney компания MacPaw планирует сделать эту инфраструктуру доступной для сторонних разработчиков через маркетплейс Setapp, превратив его в полноценную AI-экосистему. Подробности о доступе и коммерческих условиях для бизнеса будут объявлены после публикации первых результатов.