Nvidia viene a por el trono de OpenAI. El gigante del mundo de las tarjetas gráficas acaba de lanzar Chat con RTX, un programa gratuito que te permite crear un modelo de chatbot GPT personalizado en tu ordenador entrenado con tus propios datos locales: documentos, vídeos, todo. En esencia, un LLM local en tu PC, y entrenado únicamente con la información que tú le suministres.

A diferencia de los chatbots tradicionales como ChatGPT, que dependen de servidores en la nube, Chat con RTX se ejecuta directamente en PC Windows equipados con GPU NVIDIA GeForce RTX Serie 30 o superior, con un mínimo de 8 GB de VRAM.

¿Para qué sirve Chat con RTX?

Para crear tu propio modelo de inteligencia artificial generativa de texto. Como si fuese ChatGPT:

Poder construir tu propio modelo de inteligencia artificial en tu ordenador ofrece muchísimas ventajas. Sobre todo para empresas de contenidos: puedes personalizar la IA de Chat con RTX para tu negocio entrenándola con tus documentos, vídeos y el resto de tus datos (Chat con RTX soporta .txt, .pdf, .doc, .docx y .xml)

Al utilizar Chat con RTX, los usuarios pueden acceder a un conjunto de datos locales para participar en interacciones de chatbot directamente en sus PC, eliminando la necesidad de una conexión a Internet. La comodidad de esta función agiliza la experiencia del usuario, y la integración de modelos lingüísticos como Mistral y Llama añade una capa adicional de personalización.

Los usuarios podrán estar seguros de que sus datos permanecen en su dispositivo, lo que elimina los problemas de privacidad asociados a los servicios basados en la nube.

Esto permite una asistencia increíblemente relevante en la búsqueda/resumen de tu material y la creación de nuevos contenidos. Todos tus datos permanecen totalmente seguros en tu máquina local, sin necesidad de subir información sensible a servidores externos.

Lo que distingue a Chat con RTX es su tecnología de recuperación y generación aumentada (RAG), basada en el software NVIDIA TensorRT-LLM y la aceleración NVIDIA RTX. Esta combinación permite a los usuarios personalizar su chatbot con su propio contenido, creando una experiencia más personalizada y contextualmente relevante. Con sólo escribir las consultas, los usuarios pueden acceder a información de archivos locales, como documentos de texto, PDF e incluso vídeos de YouTube.

Lo malo: necesitas tener una tarjeta gráfica NVidia de la serie 30 o 40 (las más recientes). Con la aceleración RTX, hace posible tener salidas de chat ultrarrápidas sin necesidad de acceso a Internet.

Para experimentar la potencia de Chat con RTX, todo lo que necesitas es un sistema operativo Windows 10 u 11, los últimos controladores de GPU NVIDIA y una GPU GeForce RTX compatible. Las posibilidades son infinitas, tanto si eres un usuario que busca asistencia personalizada como un desarrollador que quiere crear aplicaciones innovadoras basadas en LLM.

Además, los desarrolladores podrán crear sus propias aplicaciones basadas en RAG utilizando el proyecto de referencia para desarrolladores TensorRT-LLM RAG disponible en GitHub. Esto permite crear aplicaciones innovadoras utilizando las capacidades de IA generativa de Chat con RTX.

Puedes descargar Chat with RTX desde el sitio web oficial de NVIDIA. Visita su página de descargas y sigue las instrucciones proporcionadas para instalar la herramienta en tu PC con Windows.