Найкраща конфіденційність: Nvidia випустила штучний інтелект, який працює на вашому пристрої
Джерело:
NVIDIAОднією з найбільших проблем чат-ботів називають погану конфіденційність. Річ у тім, що мовна модель, до якої ви звертаєтесь, базується на серверах розробників, тому все, що з'являється в діалозі, потрапляє до них і може використовуватись для подальшого навчання ШІ. З цієї причини не рекомендують вводити конфіденційні дані. Nvidia пропонує інший шлях.
Компанія представила тестову версію чат-бота під назвою Chat with RTX, який працює на комп'ютері під управлінням Windows. Для його роботи потрібен один із її власних графічних процесорів високого класу.
Дивіться також Генеральний директор OpenAI Сем Альтман шукає 7 трильйонів доларів, щоб змінити світ
Chat with RTX
Chat With RTX – це демонстраційний додаток, який дозволяє персоналізувати велику мовну модель під свої потреби. Він підключається до вашого власного контенту – документів, нотаток, відео чи інших даних, а потім може давати відповіді, засновані на цих навчальних даних.
Використовуючи генерацію, доповнену пошуком (RAG), TensorRT-LLM і прискорення RTX, ви можете запитувати кастомного чат-бота про що завгодно й швидко отримувати контекстно-релевантні відповіді. А оскільки все це працює локально на вашому ПК або робочій станції з Windows RTX, ви отримаєте швидкі та безпечні результати.
"Чат з RTX" підтримує різні формати файлів, включаючи текст, pdf, doc/docx та xml.
Просто спрямуйте додаток на папку з вашими файлами, і він завантажить їх у бібліотеку за лічені секунди. Крім того, ви можете вказати URL-адресу плейлиста YouTube, і програма завантажить транскрипції відео з цього плейлиста, що дасть вам змогу отримати інформацію про вміст, який вони охоплюють,
– йдеться на сайті компанії.
Ось, як це працює: відео
Ваш комп'ютер з Windows 11 потребує графічного процесора NVIDIA GeForce RTX 30 або 40 серії, або графічного процесора RTX Ampere чи Ada покоління зі щонайменше 8 гігабайтами VRAM. Оперативної пам'яті потрібно не менше 16 гігабайтів.
Коли Nvidia планує випустити фінальну й повністю робочу версію, невідомо.