Les agents IA sont de piètres travailleurs indépendants

Même les meilleurs agents d'intelligence artificielle sont relativement inefficaces pour le travail indépendant en ligne, selon une expérience qui remet en question l'idée que l'IA puisse remplacer massivement les employés de bureau.

L'indice de travail à distance, une nouvelle référence développée par des chercheurs de la société d'annotation de données Scale AI et du Center for AI Safety (CAIS), une organisation à but non lucratif, mesure la capacité des modèles d'IA de pointe à automatiser un travail économiquement précieux.

Les chercheurs ont soumis plusieurs agents d'IA de pointe à diverses tâches de travail indépendant simulées et ont constaté que même les meilleurs ne pouvaient réaliser que moins de 3 % du travail, gagnant ainsi 1 810 $ sur un total possible de 143 991 $. Parmi les outils testés, les chercheurs ont identifié Manus, développé par une start-up chinoise du même nom, comme le plus performant, suivi de Grok (xAI), Claude (Anthropic), ChatGPT (OpenAI) et Gemini (Google).

« J’espère que cela permettra de mieux comprendre l’évolution des capacités de l’IA », déclare Dan Hendrycks, directeur du CAIS. Il ajoute que si certains agents ont connu des progrès significatifs au cours de l’année écoulée, cela ne signifie pas que cette progression se poursuivra au même rythme.

Les progrès spectaculaires de l'IA ont alimenté les spéculations quant à la possibilité que l'IA surpasse bientôt l'intelligence humaine et remplace un grand nombre de travailleurs. En mars, Dario Amodei, PDG d'Anthropic, a suggéré que 90 % du travail de programmation serait automatisé d'ici quelques mois.

Les précédentes vagues d'IA ont donné lieu à des prédictions erronées concernant la suppression d'emplois, par exemple au sujet du remplacement imminent des radiologues par des algorithmes d'IA.

Les chercheurs ont généré une série de missions freelance via des travailleurs indépendants vérifiés sur Upwork. Ces missions couvrent un large éventail de domaines, allant de la conception graphique au montage vidéo, en passant par le développement de jeux et des tâches administratives telles que l'extraction de données. Ils ont associé à chaque mission une description, un répertoire des fichiers nécessaires à sa réalisation et un exemple de projet finalisé par un utilisateur.

Hendrycks explique que si les modèles d'IA ont progressé ces dernières années en matière de programmation , de mathématiques et de raisonnement logique , ils peinent encore à utiliser différents outils et à accomplir des tâches complexes comportant de nombreuses étapes. « Ils ne disposent pas de mémoire à long terme et ne peuvent pas apprendre en continu de leurs expériences. Ils ne peuvent pas acquérir de compétences sur le terrain comme les humains », précise-t-il.

Cette analyse offre un contrepoint à l'outil de référence GDPval , publié en septembre par OpenAI et censé mesurer le travail économiquement valorisé. Selon GDPval, les modèles d'IA de pointe, tels que GPT-5, atteignent des performances proches de celles des humains dans 220 tâches couvrant un large éventail d'emplois de bureau. OpenAI n'a pas souhaité faire de commentaire.

« Nous débattons de l’IA et de l’emploi depuis des années, mais la plupart de ces débats sont restés hypothétiques ou théoriques », ajoute Bing Liu, directeur de la recherche chez Scale AI.

Liu et Hendrycks reconnaissent que ce nouveau critère de référence n'est pas un indicateur parfait de l'impact économique de l'IA. De nombreuses professions incluent des tâches non prises en compte par cette mesure. En réalité, de nombreux travailleurs indépendants utilisent également l'IA comme un outil pour accroître leur productivité.

L'idée que l'IA supprime déjà des emplois gagne du terrain. Cette semaine, Amazon a annoncé la suppression de 14 000 postes, une décision qu'elle attribue en partie à l'essor rapide de l'intelligence artificielle générative. « Cette génération d'IA est la technologie la plus transformatrice que nous ayons connue depuis Internet », a écrit Beth Galetti, vice-présidente senior en charge de l'expérience employé et des technologies chez Amazon, dans une note interne rendue publique. « Elle permet aux entreprises d'innover beaucoup plus vite qu'auparavant (sur les marchés existants et sur de nouveaux marchés). »

Si l'on en croit l'indice du travail à distance, il est toutefois peu probable que l'IA occupe ces postes vacants.

Craignez-vous que l'IA vous prenne votre emploi ? Faites-le-moi savoir en envoyant un courriel à [email protected] .

Voici un numéro de la newsletter du laboratoire d'IA de Will Knight . Consultez les numéros précédents ici.