¿Los grandes modelos de lenguaje sueñan con agentes de IA?

Durante el sueño, el cerebro humano organiza diferentes recuerdos, consolidando los importantes y descartando los que no importan. ¿Y si la IA pudiera hacer lo mismo?

Bilt , una empresa que ofrece ofertas de compras y restaurantes locales a inquilinos, recientemente desplegó varios millones de agentes con la esperanza de hacer precisamente eso.

Bilt utiliza tecnología de una startup llamada Letta que permite a los agentes aprender de conversaciones previas y compartir recuerdos. Mediante un proceso llamado "computación en tiempo de reposo", los agentes deciden qué información almacenar en su memoria a largo plazo y qué podría ser necesario para una recuperación más rápida.

“Podemos realizar una sola actualización a un bloque [de memoria] y modificar el comportamiento de cientos de miles de agentes”, afirma Andrew Fitz, ingeniero de IA de Bilt. “Esto es útil en cualquier escenario donde se desee un control preciso del contexto de los agentes”, añade, refiriéndose al mensaje de texto que se introduce en el modelo durante la inferencia.

Los modelos de lenguaje grandes normalmente solo pueden recordar información si se incluye en la ventana de contexto. Si quieres que un chatbot recuerde tu conversación más reciente, debes pegarla en el chat.

La mayoría de los sistemas de IA solo pueden procesar una cantidad limitada de información en la ventana de contexto antes de que su capacidad para usar los datos flaquee y provoquen alucinaciones o confusión. El cerebro humano, en cambio, puede archivar información útil y recuperarla posteriormente.

“Tu cerebro mejora continuamente, añadiendo más información como una esponja”, afirma Charles Packer, director ejecutivo de Letta. “Con los modelos lingüísticos, es justo lo contrario. Si los ejecutas en bucle durante mucho tiempo, el contexto se contamina; se desbaratan y solo quieres reiniciar”.

Packer y su cofundadora, Sarah Wooders, desarrollaron previamente MemGPT , un proyecto de código abierto cuyo objetivo era ayudar a los LLM a decidir qué información debía almacenarse en la memoria a corto y a largo plazo. Con Letta, el dúo ha ampliado su enfoque para permitir que los agentes aprendan en segundo plano.

La colaboración de Bilt con Letta forma parte de un esfuerzo más amplio para dotar a la IA de la capacidad de almacenar y recuperar información útil, lo que podría hacer que los chatbots sean más inteligentes y los agentes menos propensos a errores. La memoria sigue estando poco desarrollada en la IA moderna, lo que socava la inteligencia y la fiabilidad de las herramientas de IA, según los expertos con los que hablé.

Harrison Chase, cofundador y director ejecutivo de LangChain, otra empresa que ha desarrollado un método para mejorar la memoria en agentes de IA, afirma que considera la memoria un componente vital de la ingeniería de contexto, donde un usuario o ingeniero decide qué información introducir en la ventana de contexto. LangChain ofrece a las empresas diversos tipos de almacenamiento de memoria para agentes, desde datos a largo plazo sobre los usuarios hasta recuerdos de experiencias recientes. «La memoria, en mi opinión, es una forma de contexto», afirma Chase. «Gran parte del trabajo de un ingeniero de IA consiste básicamente en proporcionar al modelo la información de contexto adecuada».

Las herramientas de IA para el consumidor también se están volviendo cada vez menos olvidadizas. En febrero, OpenAI anunció que ChatGPT almacenará información relevante para brindar una experiencia más personalizada a los usuarios, aunque la compañía no reveló cómo funciona.

Letta y LangChain hacen que el proceso de recuperación sea más transparente para los ingenieros que construyen sistemas de IA.

"Creo que es muy importante no solo que los modelos sean abiertos, sino también que los sistemas de memoria sean abiertos", afirma Clem Delangue, director ejecutivo de la plataforma de alojamiento de inteligencia artificial Hugging Face e inversor en Letta.

Curiosamente, Packer, director ejecutivo de Letta, insinúa que también podría ser importante que los modelos de IA aprendan qué olvidar. «Si un usuario dice: 'Ese proyecto en el que estábamos trabajando, bórralo de tu memoria', el agente debería poder volver atrás y reescribir retroactivamente cada recuerdo».

La idea de recuerdos y sueños artificiales me recuerda a "¿Sueñan los androides con ovejas eléctricas ?" de Philip K. Dick, una novela alucinante que inspiró la película distópica Blade Runner . Los grandes modelos lingüísticos aún no son tan impresionantes como los replicantes rebeldes de la historia, pero sus recuerdos, al parecer, pueden ser igual de frágiles .

Esta es una edición del boletín del Laboratorio de IA de Will Knight . Lea los boletines anteriores aquí.