Träumen große Sprachmodelle von KI-Agenten?

Im Schlaf verarbeitet das menschliche Gehirn verschiedene Erinnerungen, konsolidiert wichtige und verwirft unwichtige. Was wäre, wenn KI dasselbe tun könnte?

Bilt , ein Unternehmen, das Mietern lokale Einkaufs- und Restaurantangebote macht, hat vor Kurzem mehrere Millionen Agenten in der Hoffnung eingesetzt, genau das zu erreichen.

Bilt nutzt die Technologie des Startups Letta , die es Agenten ermöglicht, aus früheren Gesprächen zu lernen und Erinnerungen miteinander zu teilen. Mithilfe eines Prozesses namens „Sleeptime Compute“ entscheiden die Agenten, welche Informationen im Langzeitgedächtnis gespeichert werden und welche für einen schnelleren Abruf benötigt werden.

„Wir können eine einzige Aktualisierung eines [Speicher-]Blocks vornehmen und das Verhalten von Hunderttausenden von Agenten ändern“, sagt Andrew Fitz, KI-Ingenieur bei Bilt. „Das ist in jedem Szenario nützlich, in dem man eine fein abgestufte Kontrolle über den Kontext der Agenten haben möchte“, fügt er hinzu und bezieht sich dabei auf die Textaufforderung, die dem Modell zum Zeitpunkt der Inferenz zugeführt wird.

Große Sprachmodelle können sich Dinge typischerweise nur dann „erinnern“, wenn die Informationen im Kontextfenster enthalten sind. Wenn Sie möchten, dass sich ein Chatbot an Ihre letzte Konversation erinnert, müssen Sie diese in den Chat einfügen.

Die meisten KI-Systeme können nur eine begrenzte Menge an Informationen im Kontextfenster verarbeiten, bevor ihre Fähigkeit zur Datenverarbeitung nachlässt und sie halluzinieren oder verwirrt werden. Das menschliche Gehirn hingegen ist in der Lage, nützliche Informationen zu speichern und später abzurufen.

„Ihr Gehirn entwickelt sich ständig weiter und saugt wie ein Schwamm neue Informationen auf“, sagt Charles Packer, CEO von Letta. „Bei Sprachmodellen ist es genau umgekehrt. Läuft man diese Sprachmodelle lange genug in einer Schleife, wird der Kontext vergiftet; sie geraten aus der Bahn, und man möchte einfach alles neu starten.“

Packer und seine Mitgründerin Sarah Wooders entwickelten zuvor MemGPT , ein Open-Source-Projekt, das LLMs bei der Entscheidung helfen sollte, welche Informationen im Kurzzeit- bzw. Langzeitgedächtnis gespeichert werden sollten. Mit Letta hat das Duo seinen Ansatz erweitert, um Agenten im Hintergrund lernen zu lassen.

Bilts Zusammenarbeit mit Letta ist Teil einer breiteren Initiative, KI die Fähigkeit zu verleihen, nützliche Informationen zu speichern und abzurufen. Dies könnte Chatbots intelligenter und Agenten weniger fehleranfällig machen. Laut Experten, mit denen ich gesprochen habe, ist das Gedächtnis moderner KI noch unterentwickelt, was die Intelligenz und Zuverlässigkeit von KI-Tools beeinträchtigt.

Harrison Chase, Mitgründer und CEO von LangChain, einem weiteren Unternehmen, das eine Methode zur Verbesserung des Gedächtnisses von KI-Agenten entwickelt hat, sieht das Gedächtnis als wesentlichen Bestandteil des Kontext-Engineerings – wobei ein Nutzer oder Entwickler entscheidet, welche Informationen in das Kontextfenster eingespeist werden. LangChain bietet Unternehmen verschiedene Speichermöglichkeiten für Agenten an, von langfristigen Nutzerdaten bis hin zu Erinnerungen an jüngste Erlebnisse. „Ich würde sagen, das Gedächtnis ist eine Form von Kontext“, sagt Chase. „Ein großer Teil der Arbeit eines KI-Ingenieurs besteht im Wesentlichen darin, dem Modell den richtigen Kontext [Informationen] zuzuführen.“

Auch KI-Tools für Verbraucher werden allmählich weniger vergesslich. Im Februar kündigte OpenAI an, dass ChatGPT relevante Informationen speichern wird, um den Nutzern ein personalisierteres Erlebnis zu bieten – das Unternehmen gab jedoch nicht bekannt, wie dies funktioniert.

Letta und LangChain machen den Rückrufprozess für Ingenieure, die KI-Systeme bauen, transparenter.

„Ich denke, es ist äußerst wichtig, dass nicht nur die Modelle offen sind, sondern auch die Speichersysteme offen sind“, sagt Clem Delangue, CEO der KI-Hosting-Plattform Hugging Face und Investor bei Letta.

Interessanterweise deutet Lettas CEO Packer an, dass es für KI-Modelle auch wichtig sein könnte, zu lernen, was sie vergessen können. „Wenn ein Benutzer sagt: ‚Lösch das eine Projekt, an dem wir gearbeitet haben, aus deinem Gedächtnis‘, sollte der Agent in der Lage sein, jeden einzelnen Speicher rückwirkend neu zu schreiben.“

Der Gedanke an künstliche Erinnerungen und Träume lässt mich an „Träumen Androiden von elektrischen Schafen ?“ von Philip K. Dick denken, einen bewusstseinsverändernden Roman, der als Inspiration für den stilvollen dystopischen Film „Blade Runner“ diente. Große Sprachmodelle sind zwar noch nicht so beeindruckend wie die rebellischen Replikanten der Geschichte, aber ihre Erinnerungen können, so scheint es, genauso zerbrechlich sein .

Dies ist eine Ausgabe des AI Lab-Newsletters von Will Knight . Lesen Sie hier frühere Newsletter.