Восьмеро вчених розробили "Індекс прозорості базової моделі", щоб оцінити, наскільки відкритими є 10 найпопулярніших моделей ШІ. Результати засвідчили, що більшість інформації про те, як вони влаштовані та працюють, приховано від громадськості.
Дивіться також Про що люди розмовляють зі штучним інтелектом: дослідники підсумували мільйон діалогів
Хто найгірший
Розуміння прозорості ШІ-моделей потрібне не просто так. Воно допомагає використовувати штучний інтелект відповідально й ефективно, розвивати його швидше і якісніше, а також підвищує безпеку. За допомогою цих даних вчені та розробники прискорюють прогрес у галузі, а користувачі розуміють, як використовувати модель і не отримати від неї шкоди.
Індекс, що оцінює прозорість, опирається на 100 детальних показників. Вони охоплюють усі аспекти моделі, від витрачених на її створення ресурсів (дані, на яких проводилося навчання, праця, обчислювальні потужності) до особливостей самої моделі (можливості, ризики, обсяг даних) і подальшого використання (канал поширення, політика використання, географія споживачів).
Результати виявилися гнітючими: у середньому кожна модель ШІ набрала лише 37 балів прозорості зі 100.
- Популярний ChatGPT визнали прозорим лише на 47%.
- Такий же результат у Stable Diusion 2.
- Трохи краще показали тебе BLOOMZ (52%) і Llama 2 від компанії Meta (57%).
- Google зі своїм PaLM 2 отримав результат на рівні 41 відсотка.
- Менш відомі моделі ШІ – Claude 2, Command, Jurassic-2, Inection-1 – демонструють від 39 до 20 відсотків відкритості.
- Найгіршою в цьому плані виявилась компанія Amazon. Її Titan Text є дуже закритим і набрав усього 13 відсотків.
Рейтинг прозорості систем штучного інтелекту / Скриншот 24 Каналу/Графіка Stanford Center for Research on Foundation Models
Варто зазначити, що дослідники обговорювали результати тесту з представником кожної компанії і давали їм можливість аргументовано оскаржити оцінки. Якщо дослідники вважали, що доводи розробників переконливі, вони підвищували оцінку. Однак навіть цей підхід показав, що компанії не поспішають бути чесними й відкритими з користувачами.