Разработчики использовали новую языковую модель Meta с открытым исходным кодом "LLaMA 7B", которая еще не добралась до полноценного релиза. Это самая маленькая и самая дешевая из доступных сегодня подобных технологий.
Интересно Google встраивает искусственный интеллект, аналог ChatGPT, в большинство своих сервисов
Что известно об Alpaca
Для обучения Alpaca использовали одну из версий GPT, ядра, лежащего в основе ChatGPT. У нее попросили 175 пар инструкций/выводов, написанных человеком, из которых начали генерировать больше в том же стиле и формате, по 20 за раз. Это было автоматизировано с помощью одного из открытых API-интерфейсов OpenAI. Таким образом, за короткое время у команды было около 52 000 примеров разговоров, которые можно было использовать для нового обучения модели LLaMA. Генерация этих массовых обучающих данных стоила менее 500 долларов США.
Все эти данные затем использовали для точной настройки модели LLaMA. Процесс занял около трех часов на восьми компьютерах с облачной обработкой A100 емкостью 80 гигабайт. Это стоило меньше 100 долларов США.
Разработчики предупреждают, что не настраивали Alpaca, чтобы она была безопасной и безвредной, поэтому просят, чтобы кто-либо, кто устанавливает ее, сообщал о проблемах безопасности и этики. Однако уже сейчас ясно, что у этой нейросети достаточно большой потенциал. Исходный код проекта уже открыли, благодаря чему над его развитием могут работать энтузиасты. Одна из наиболее примечательных особенностей Alpaca заключается в возможности запуска в автономном режиме без доступа в интернет, причем эта нейросеть способна работать на любых компьютерах, даже одноплатных, не отличающихся высокой производительностью.
Авторы заявляют, что все можно сделать даже подешевле, а это значит, что теперь будет появляться неограниченное количество неконтролируемых языковых моделей.