Розробники використали нову мовну модель Meta з відкритим вихідним кодом "LLaMA 7B", яка ще навіть не добралась до повноцінного релізу. Це найменша та найдешевша з доступних сьогодні подібних технологій.
Цікаво Google вбудовує штучний інтелект, аналог ChatGPT, у більшість своїх сервісів
Що відомо про Alpaca
Для навчання Alpaca використали одну з версій GPT, ядра, яке лежить в основі ChatGPT. У неї попросили 175 пар інструкцій/виводів, написаних людиною, з яких почали генерувати більше в тому самому стилі та форматі, по 20 за раз. Це було автоматизовано за допомогою одного з відкритих API-інтерфейсів OpenAI. Таким чином за короткий час у команди було близько 52 000 прикладів розмов, які можна було використовувати для нового навчання моделі LLaMA. Генерація цих масових навчальних даних коштувала менше ніж 500 доларів США.
Всі ці дані потім використали для точного налаштування моделі LLaMA. Процес зайняв близько трьох годин на восьми комп'ютерах з хмарною обробкою A100 ємністю 80 гігабайтів. Це коштувало менше 100 доларів США.
Розробники попереджають, що не налаштовували Alpaca, щоб вона була безпечною і нешкідливою, тому просять, щоб будь-хто, хто встановлює її, повідомляв про проблеми безпеки та етики. Однак уже зараз зрозуміло, що у цієї нейромережі досить великий потенціал. Початковий код проєкту вже відкрили, завдяки чому над його розвитком можуть працювати ентузіасти. Одна з найбільш примітних особливостей Alpaca полягає в можливості запуску в автономному режимі без доступу в інтернет, причому ця нейромережа здатна працювати на будь-яких комп'ютерах, навіть одноплатних, які не відрізняються високою продуктивністю.
Автори заявляють, що все можна зробити навіть дешевше, а це означає, що тепер з'являтиметься необмежена кількість неконтрольованих мовних моделей.