Wie funktionieren Hackerangriffe auf KI-Systeme in Unternehmen?

Schon wenige Stunden nachdem LLMs wie chatGPT Schlagzeilen machten, warnten Experten, dass Cyberkriminelle sie für ihre schändlichen Machenschaften einsetzen könnten. Die Besorgnis galt jedoch vor allem der Möglichkeit, gefälschte E-Mails zu erstellen, Dokumente in verschiedenen Sprachen zu fälschen und Kriminellen generell die Effektivität bei Angriffen zu erhöhen, die uns bereits plagen. Doch jede neue Technologie birgt auch Schwachstellen, und nun nutzen Kriminelle KI-Systeme von Unternehmen, um Dokumente zu stehlen oder interne Netzwerke anzugreifen.

Der erste Fall ereignete sich im Juni mit einer Sicherheitslücke namens EchoLeak, die Microsoft CoPilot 365 betraf. EchoLeak nutzte insbesondere die Art und Weise aus, wie Copilot für Microsoft 365 automatisch Kontext für Anfragen aus E-Mails und Dokumenten extrahiert. Ein Fehler bei der Verarbeitung der aus E-Mails gelesenen Inhalte ermöglichte es einem Angreifer, eine scheinbar harmlose Nachricht mit versteckten Anweisungen an die KI zu senden. Der Benutzer musste nichts weiter tun, außer seinen Computer normal weiterzunutzen: Selbst Tage später rief Copilot eine Frage zu einem in der E-Mail des Angreifers behandelten Thema ab, rief das System diese ab und begann, die versteckten Anweisungen zu befolgen. Es sammelte interne Daten (aus Outlook/SharePoint/Teams) und sendete sie dann extern, beispielsweise über Links oder Bilder, die automatische Anfragen an einen vom Angreifer kontrollierten Server generierten. Es handelte sich praktisch um eine sogenannte „Zero-Click“-Sicherheitslücke, da sie einen Angriff ermöglicht, ohne dass der Benutzer wissentlich etwas öffnet oder anklickt. Microsoft hat das Problem behoben, aber die Büchse der Pandora wurde geöffnet: In Unternehmen gibt es Systeme, die anders geschützt werden müssen als andere, da sie ganz unterschiedlichen Angriffsarten ausgesetzt sind.

Vor einigen Tagen wurde ein ähnliches Problem wie EchoLeak in Gemini entdeckt. Auch hier war keine Benutzerinteraktion erforderlich, und der Angriff erfolgte über eine einfache E-Mail-Einladung für Google Kalender. Eine entsprechend gestaltete Einladung konnte Anweisungen enthalten, die Gemini bei der Abfrage von Termininformationen ausführte, wie zum Beispiel „Welche Termine habe ich heute?“. Die an Gemini erteilbaren Anweisungen waren unbegrenzt, sodass es auch die mit dem betroffenen Konto verbundenen Hausautomationsgeräte steuern konnte. Auch hier scheinen die Forscher die Angreifer eingeholt zu haben.

Eine weitere „unkonventionelle“ Angriffsmethode wurde auf einem Asana-KI-System entdeckt und wenige Tage nach der Echoleak-Entdeckung bekannt gegeben. Im Wesentlichen hatte Asana eine „experimentelle“ KI-Integration auf Basis von MCP (Model Context Protocol) aktiviert, um Modellen mit Unternehmensdaten die Kommunikation mit anderen Apps zu ermöglichen. Unternehmen luden ihre Daten hoch, und Mitarbeiter oder Kunden konnten Fragen stellen und Antworten basierend auf den hochgeladenen Dokumenten erhalten. Leider wies dieser MCP-Server einen Datenisolationsfehler auf: Unter bestimmten Bedingungen konnten Informationen aus Ihrer Asana-Domäne für andere Nutzer sichtbar sein, die dieselbe KI-Integration nutzten, aber zu anderen Unternehmen gehörten. Aus diesem Grund schaltete Asana den Dienst vom 5. bis 17. Juni ab, setzte alle Verbindungen zurück und benachrichtigte die Kunden, die den Dienst nach einigen Tagen wieder sicher nutzen konnten. Während im Fall von Copilot das Problem in der Art und Weise lag, wie die Anweisungen abgerufen wurden, könnte das KI-System in diesem Fall auf die falschen Dokumente zugegriffen haben, da die Grenzen zwischen den Informationen eines Unternehmens und denen eines anderen Unternehmens nicht klar definiert waren. Dieses Problem hätte zum Durchsickern vertraulicher Informationen führen können, wurde jedoch offenbar erkannt, bevor es Schaden anrichten konnte.

Bei den Angriffen, die wir bisher beobachtet haben, handelt es sich um eine andere Art von Angriffen, die sogenannten „LLM Scope Violations“. Dabei werden Anweisungen verwendet, um die KI dazu zu bringen, Dinge zu tun, die sie nicht tun sollte. Im Fall von LameHug haben wir es jedoch mit der scheinbar ersten bisher beobachteten „KI-Malware“ zu tun. Sie muss Unternehmenssysteme über traditionelle Angriffsvektoren erreichen, doch sobald sie sich im System befindet, nutzt sie eines der KI-Systeme von Alibaba aus, das auf das Schreiben von ausführbarem Code spezialisiert ist, um zu versuchen, ihre Mission, Systeme zu kompromittieren, zu erfüllen. Durch die ausgeführten Befehle sammelt sie grundlegende Informationen über das System, auf dem sie ausgeführt wird (wie aktive Prozesse, Hardwareinformationen und Netzwerkverbindungen), führt eine rekursive Suche nach Microsoft Office-Dokumenten in den Ordnern „Desktop“, „Dokumente“ und „Downloads“ durch und exfiltriert die gesammelten Daten per FTP oder Post. Im Wesentlichen versucht sie, „auf eigene Faust“ das zu tun, was ein Krimineller tut, wenn es ihm gelingt, die IT-Abwehr eines Unternehmens zu durchbrechen.