Ілюстративне фото / Freepik
Дослідники зі Стенфордського університету, Прінстона і Массачусетського технологічного інституту розробили методологію оцінювання прозорості ШІ-моделей і застосували її до 10 найпопулярніших із них. Результати виявилися гнітючими, адже попри всі обіцянки розробників, їхні продукти ретельно приховують логіку своєї роботи.
Восьмеро вчених розробили "Індекс прозорості базової моделі", щоб оцінити, наскільки відкритими є 10 найпопулярніших моделей ШІ. Результати засвідчили, що більшість інформації про те, як вони влаштовані та працюють, приховано від громадськості.
Дивіться також Про що люди розмовляють зі штучним інтелектом: дослідники підсумували мільйон діалогів
Хто найгірший
Розуміння прозорості ШІ-моделей потрібне не просто так. Воно допомагає використовувати штучний інтелект відповідально й ефективно, розвивати його швидше і якісніше, а також підвищує безпеку. За допомогою цих даних вчені та розробники прискорюють прогрес у галузі, а користувачі розуміють, як використовувати модель і не отримати від неї шкоди.
Індекс, що оцінює прозорість, опирається на 100 детальних показників. Вони охоплюють усі аспекти моделі, від витрачених на її створення ресурсів (дані, на яких проводилося навчання, праця, обчислювальні потужності) до особливостей самої моделі (можливості, ризики, обсяг даних) і подальшого використання (канал поширення, політика використання, географія споживачів).
Результати виявилися гнітючими: у середньому кожна модель ШІ набрала лише 37 балів прозорості зі 100.
Середні ціни в мережі АЗС «Amic Energy» станом на
- Популярний ChatGPT визнали прозорим лише на 47%.
- Такий же результат у Stable Diusion 2.
- Трохи краще показали тебе BLOOMZ (52%) і Llama 2 від компанії Meta (57%).
- Google зі своїм PaLM 2 отримав результат на рівні 41 відсотка.
- Менш відомі моделі ШІ – Claude 2, Command, Jurassic-2, Inection-1 – демонструють від 39 до 20 відсотків відкритості.
- Найгіршою в цьому плані виявилась компанія Amazon. Її Titan Text є дуже закритим і набрав усього 13 відсотків.
Варто зазначити, що дослідники обговорювали результати тесту з представником кожної компанії і давали їм можливість аргументовано оскаржити оцінки. Якщо дослідники вважали, що доводи розробників переконливі, вони підвищували оцінку. Однак навіть цей підхід показав, що компанії не поспішають бути чесними й відкритими з користувачами.
Повʼязані теми:
Якщо Ви виявили помилку на цій сторінці, виділіть її та натисніть Ctrl+Enter