Наилучшая конфиденциальность: Nvidia выпустила ИИ, который работает на вашем устройстве
Источник:
NVIDIAОдной из самых больших проблем чат-ботов называют плохую конфиденциальность. Дело в том, что языковая модель, к которой вы обращаетесь, базируется на серверах разработчиков, поэтому все, что появляется в диалоге, попадает к ним и может использоваться для дальнейшего обучения ИИ. По этой причине не рекомендуют вводить конфиденциальные данные. Nvidia предлагает другой путь.
Компания представила тестовую версию чат-бота под названием Chat with RTX, который работает на компьютере под управлением Windows. Для его работы нужен один из ее собственных графических процессоров высокого класса.
Смотрите также Генеральный директор OpenAI Сэм Альтман ищет 7 триллионов долларов, чтобы изменить мир
Chat with RTX
Chat With RTX – это демонстрационное приложение, которое позволяет персонализировать большую языковую модель под свои потребности. Он подключается к вашему собственному контенту – документов, заметок, видео или других данных, а затем может давать ответы, основанные на этих учебных данных.
Используя генерацию, дополненную поиском (RAG), TensorRT-LLM и ускорение RTX, вы можете спрашивать кастомного чат-бота о чем угодно и быстро получать контекстно-релевантные ответы. А поскольку все это работает локально на вашем ПК или рабочей станции с Windows RTX, вы получите быстрые и безопасные результаты.
"Чат с RTX" поддерживает различные форматы файлов, включая текст, pdf, doc/docx и xml.
Просто направьте приложение на папку с вашими файлами, и он загрузит их в библиотеку за считанные секунды. Кроме того, вы можете указать URL-адрес плейлиста YouTube, и программа загрузит транскрипции видео с этого плейлиста, что позволит вам получить информацию о содержании, который они охватывают,
– говорится на сайте компании.
Вот, как это работает: видео
Ваш компьютер с Windows 11 требует графического процессора NVIDIA GeForce RTX 30 или 40 серии, или графического процессора RTX Ampere или Ada поколения с не менее 8 гигабайтами VRAM. Оперативной памяти нужно не менее 16 гигабайт.
Когда Nvidia планирует выпустить финальную и полностью рабочую версию, неизвестно.