KI-Agenten sind schreckliche freiberufliche Mitarbeiter

Selbst die besten KI- Systeme sind bei Online-Freiberuflern ziemlich hilflos, wie ein Experiment zeigt, das die Idee in Frage stellt, dass KI Büroangestellte massenhaft ersetzen könnte.

Der Remote Labor Index, ein neuer Benchmark, der von Forschern des Datenannotationsunternehmens Scale AI und des gemeinnützigen Center for AI Safety (CAIS) entwickelt wurde, misst die Fähigkeit von KI-Modellen der Spitzenklasse, wirtschaftlich wertvolle Arbeit zu automatisieren.

Die Forscher gaben mehreren führenden KI-Systemen simulierte freiberufliche Aufträge und stellten fest, dass selbst die besten weniger als 3 Prozent der Arbeit erledigen konnten und dabei lediglich 1.810 US-Dollar von möglichen 143.991 US-Dollar verdienten. Die Forscher untersuchten verschiedene Tools und fanden Manus von einem gleichnamigen chinesischen Startup am leistungsfähigsten, gefolgt von Grok von xAI, Claude von Anthropic, ChatGPT von OpenAI und Gemini von Google.

„Ich hoffe, dass dies ein deutlich genaueres Bild vom aktuellen Stand der KI-Fähigkeiten vermittelt“, sagt Dan Hendrycks, Direktor von CAIS. Er fügt hinzu, dass sich einige Agenten zwar im vergangenen Jahr deutlich verbessert hätten, dies aber nicht bedeute, dass sich diese Entwicklung im gleichen Tempo fortsetzen werde.

Spektakuläre Fortschritte im Bereich der künstlichen Intelligenz (KI) haben Spekulationen darüber ausgelöst, dass KI die menschliche Intelligenz bald übertreffen und zahlreiche Arbeitskräfte ersetzen wird. Im März äußerte Dario Amodei, CEO von Anthropic, die Vermutung, dass 90 Prozent der Programmierarbeit innerhalb weniger Monate automatisiert sein würden .

Frühere KI-Wellen haben zu Fehlprognosen über den Verlust von Arbeitsplätzen geführt, beispielsweise hinsichtlich der bevorstehenden Ersetzung von Radiologen durch KI-Algorithmen.

Die Forscher generierten mithilfe verifizierter Upwork-Arbeiter eine Reihe von Freelance-Aufträgen. Die Aufgaben umfassten verschiedene Tätigkeiten wie Grafikdesign, Videobearbeitung, Spieleentwicklung und administrative Aufgaben wie das Sammeln von Daten. Sie kombinierten eine Beschreibung jedes Auftrags mit einem Verzeichnis der benötigten Dateien und einem Beispiel eines von einem Menschen erstellten, fertigen Projekts.

Hendrycks erklärt, dass KI-Modelle zwar in den letzten Jahren in den Bereichen Programmierung , Mathematik und logisches Denken besser geworden seien, ihnen aber weiterhin der Umgang mit verschiedenen Werkzeugen und die Ausführung komplexer, mehrstufiger Aufgaben schwerfalle. „Sie verfügen nicht über ein Langzeitgedächtnis und können nicht kontinuierlich aus Erfahrungen lernen. Sie können sich Fähigkeiten nicht wie Menschen im Arbeitsalltag aneignen“, sagt er.

Die Analyse bildet einen Kontrapunkt zu einem im September von OpenAI veröffentlichten Benchmark für wirtschaftliche Arbeit namens GDPval , der angeblich wirtschaftlich wertvolle Arbeit misst. Laut GDPval nähern sich fortschrittliche KI-Modelle wie GPT-5 den menschlichen Fähigkeiten bei 220 Aufgaben in verschiedenen Büroberufen an. OpenAI gab dazu keinen Kommentar ab.

„Wir diskutieren schon seit Jahren über KI und Arbeitsplätze, aber das meiste davon war hypothetisch oder theoretisch“, fügt Bing Liu, Forschungsdirektor bei Scale AI, hinzu.

Liu und Hendrycks räumen ein, dass der neue Maßstab kein perfekter Indikator für die wirtschaftlichen Auswirkungen von KI ist. Viele Berufe umfassen Aufgaben, die in der Messung nicht berücksichtigt werden. Tatsächlich dürften auch viele Freiberufler KI als Werkzeug nutzen, um ihre Produktivität zu steigern.

Die Vorstellung, dass KI bereits Arbeitsplätze vernichtet, gewinnt jedoch an Bedeutung. Diese Woche kündigte Amazon an, 14.000 Stellen abzubauen, was das Unternehmen unter anderem mit dem rasanten Aufstieg der generativen künstlichen Intelligenz begründete. „Diese Generation von KI ist die transformativste Technologie seit dem Internet“, schrieb Beth Galetti, Senior Vice President für Mitarbeitererfahrung und Technologie bei Amazon, in einem öffentlich zugänglichen Memo. „Sie ermöglicht es Unternehmen, Innovationen deutlich schneller als je zuvor voranzutreiben (in bestehenden und völlig neuen Marktsegmenten).“

Wenn man jedoch den Remote Labor Index als Indikator nimmt, ist es unwahrscheinlich, dass KI in eine dieser frei gewordenen Rollen schlüpfen wird.

Haben Sie Angst, dass KI Ihren Job übernimmt? Teilen Sie mir das mit, indem Sie eine E-Mail an [email protected] senden.

Dies ist eine Ausgabe des Newsletters von Will Knights KI-Labor . Frühere Ausgaben finden Sie hier.