Gli agenti di intelligenza artificiale sono pessimi lavoratori freelance

Secondo un esperimento che mette in discussione l'idea che l'intelligenza artificiale possa sostituire in massa i lavoratori d'ufficio, anche i migliori agenti di intelligenza artificiale sono piuttosto incapaci di svolgere lavori freelance online.

Il Remote Labor Index, un nuovo parametro di riferimento sviluppato dai ricercatori della società di annotazione dati Scale AI e del Center for AI Safety (CAIS), un'organizzazione no-profit, misura la capacità dei modelli di intelligenza artificiale di frontiera di automatizzare lavori economicamente preziosi.

I ricercatori hanno sottoposto diversi agenti di intelligenza artificiale leader a una serie di simulazioni di lavoro freelance e hanno scoperto che anche i migliori riuscivano a svolgere meno del 3% del lavoro, guadagnando 1.810 dollari su un massimo di 143.991 dollari. I ricercatori hanno esaminato diversi strumenti e hanno scoperto che il più performante era Manus di una startup cinese con lo stesso nome, seguito da Grok di xAI, Claude di Anthropic, ChatGPT di OpenAI e Gemini di Google.

"Spero che questo fornisca un'idea molto più precisa di cosa stia succedendo con le capacità dell'intelligenza artificiale", afferma Dan Hendrycks, direttore del CAIS. Aggiunge che, sebbene alcuni agenti siano migliorati significativamente nell'ultimo anno circa, ciò non significa che continueranno allo stesso ritmo.

Gli spettacolari progressi dell'intelligenza artificiale hanno portato a speculazioni sul fatto che questa supererà presto l'intelligenza umana e sostituirà un gran numero di lavoratori. A marzo, Dario Amodei, CEO di Anthropic, ha ipotizzato che il 90% del lavoro di programmazione sarebbe stato automatizzato nel giro di pochi mesi.

Le precedenti ondate di intelligenza artificiale hanno ispirato previsioni errate sulla sostituzione del lavoro, ad esempio riguardo all'imminente sostituzione dei radiologi con algoritmi di intelligenza artificiale.

I ricercatori hanno generato una serie di incarichi freelance tramite dipendenti verificati di Upwork. Gli incarichi spaziano tra una vasta gamma di attività, tra cui grafica, editing video, sviluppo di videogiochi e mansioni amministrative come l'estrazione di dati. Hanno abbinato una descrizione di ogni lavoro a un elenco di file necessari per eseguirlo e a un esempio di progetto finito prodotto da un essere umano.

Hendrycks afferma che, sebbene negli ultimi anni i modelli di intelligenza artificiale siano migliorati nella programmazione , nella matematica e nel ragionamento logico , hanno ancora difficoltà a utilizzare strumenti diversi e a svolgere compiti complessi che richiedono numerosi passaggi. "Non hanno una memoria a lungo termine e non possono apprendere continuamente dalle esperienze. Non possono acquisire competenze sul lavoro come gli esseri umani", afferma.

L'analisi offre un contrappunto a un benchmark del lavoro economico offerto a settembre da OpenAI chiamato GDPval , che si propone di misurare il lavoro economicamente valido. Secondo GDPval, modelli di intelligenza artificiale di frontiera come GPT-5 si stanno avvicinando alle capacità umane in 220 compiti in una vasta gamma di lavori d'ufficio. OpenAI non ha rilasciato commenti.

"Abbiamo discusso di intelligenza artificiale e lavoro per anni, ma la maggior parte di ciò è stato ipotetico o teorico", aggiunge Bing Liu, direttore della ricerca presso Scale AI.

Liu e Hendrycks ammettono che il nuovo parametro di riferimento non è un parametro perfetto per l'impatto economico dell'IA. Molte professioni includono mansioni non coperte dal parametro. In realtà, è probabile che anche molti liberi professionisti utilizzino l'IA come strumento per amplificare la propria produttività.

Tuttavia, l'idea che l'IA stia già sottraendo posti di lavoro sta prendendo piede. Questa settimana Amazon ha annunciato che taglierà 14.000 posti di lavoro, una mossa che ha in parte attribuito alla rapida ascesa dell'intelligenza artificiale generativa. "Questa generazione di IA è la tecnologia più rivoluzionaria che abbiamo visto dai tempi di Internet", ha scritto Beth Galetti, vicepresidente senior per la People Experience e la Tecnologia di Amazon, in una nota condivisa pubblicamente. "Sta consentendo alle aziende di innovare molto più velocemente che mai (nei segmenti di mercato esistenti e in quelli completamente nuovi)".

Tuttavia, se il Remote Labor Index è indicativo, è improbabile che l'intelligenza artificiale prenda il sopravvento su uno di questi ruoli vacanti.

Temi che l'intelligenza artificiale ti rubi il lavoro? Fammelo sapere inviando un'e-mail a [email protected] .

Questa è un'edizione della newsletter AI Lab di Will Knight . Leggi le newsletter precedenti qui.