Espandendo il proprio ecosistema AI, NVIDIA introduce “Chat with RTX” un chatbot GPT personalizzabile per le GPU RTX, che promette un’esperienza utente migliorata senza la necessità di connessione internet.
NVIDIA ha ampliato il proprio ecosistema di intelligenza artificiale con il lancio di “Chat with RTX”, un chatbot innovativo progettato per PC Windows. Questa applicazione, che sfrutta il potenziale di TensorRT-LLM e della tecnologia Retrieval Augmented Generation (RAG) di NVIDIA, è disponibile gratuitamente per gli utenti delle ultime GPU RTX, offrendo un’esperienza AI personalizzabile direttamente sul proprio dispositivo.
Chat with RTX è stato concepito come un sistema localizzato, il che significa che gli utenti hanno a disposizione un chatbot GPT personalizzato sul proprio PC senza la necessità di una connessione internet. Questo aspetto rappresenta un vantaggio, consentendo una maggiore privacy e personalizzazione. Gli utenti possono infatti adattare il chatbot utilizzando un set di dati localmente disponibile sul loro PC, rendendo l’esperienza estremamente su misura.
La compatibilità di Chat with RTX si estende a quasi tutte le GPU RTX 40 e RTX 30, purché dotate di almeno 8 GB di memoria video. Questo assicura che un’ampia gamma di dispositivi possa beneficiare dell’accelerazione RTX, garantendo prestazioni ottimali.
Dopo il download gratuito dell’applicazione, gli utenti possono collegare il chatbot a un dataset locale (.txt, .pdf, .doc, .docx, .xml) e a modelli linguistici di grandi dimensioni, come Mistral e Llama 2. L’aggiunta di URL specifici, come video di YouTube o intere playlist, può ulteriormente arricchire i risultati del chatbot. Grazie a questa flessibilità, gli utenti possono interrogare Chat with RTX come farebbero con ChatGPT, ma con risposte basate esclusivamente sui dati personali, ottenendo così risultati più pertinenti e precisi.
La tecnologia TensorRT-LLM v0.6.0 promette un aumento delle prestazioni fino a 5 volte, con supporto per ulteriori modelli linguistici come Mistral 7B e Nemotron 3 8B previsto entro la fine del mese. Questo upgrade tecnologico si traduce in un’esperienza utente migliorata, con tempi di risposta ridotti e risultati più accurati.
Chat with RTX di NVIDIA è supportato sia su Windows 11 che Windows 10 e richiede gli ultimi driver per GPU NVIDIA per garantire le migliori prestazioni possibili.
