Agentes de IA são péssimos freelancers.

Mesmo os melhores agentes de inteligência artificial são bastante ineptos em trabalhos freelance online, de acordo com um experimento que questiona a ideia de que a IA pode substituir trabalhadores de escritório em massa.

O Índice de Trabalho Remoto, um novo indicador desenvolvido por pesquisadores da empresa de anotação de dados Scale AI e do Centro para Segurança da IA ​​(CAIS), uma organização sem fins lucrativos, mede a capacidade de modelos de IA de ponta para automatizar trabalhos economicamente valiosos.

Os pesquisadores deram a vários agentes de IA de ponta uma série de trabalhos freelance simulados e descobriram que mesmo os melhores conseguiam executar menos de 3% do trabalho, ganhando US$ 1.810 de um total possível de US$ 143.991. Os pesquisadores analisaram diversas ferramentas e concluíram que a mais eficiente era a Manus, de uma startup chinesa de mesmo nome, seguida pela Grok, da xAI, Claude, da Anthropic, ChatGPT, da OpenAI, e Gemini, do Google.

“Espero que isso proporcione uma impressão muito mais precisa sobre o que está acontecendo com as capacidades da IA”, diz Dan Hendrycks, diretor da CAIS. Ele acrescenta que, embora alguns agentes tenham apresentado melhorias significativas no último ano, isso não significa que esse ritmo continuará.

Os avanços espetaculares da IA ​​levaram à especulação de que ela em breve ultrapassará a inteligência humana e substituirá um grande número de trabalhadores. Em março, Dario Amodei, CEO da Anthropic, sugeriu que 90% do trabalho de programação seria automatizado em questão de meses.

As ondas anteriores de IA inspiraram previsões equivocadas sobre a substituição de empregos, por exemplo, em relação à iminente substituição de radiologistas por algoritmos de IA.

Os pesquisadores geraram uma série de tarefas freelance por meio de trabalhadores verificados da Upwork. As tarefas abrangem uma variedade de trabalhos, incluindo design gráfico, edição de vídeo, desenvolvimento de jogos e tarefas administrativas, como coleta de dados. Eles combinaram uma descrição de cada trabalho com um diretório de arquivos necessários para a sua execução e um exemplo de um projeto finalizado produzido por um profissional.

Hendrycks afirma que, embora os modelos de IA tenham melhorado em programação , matemática e raciocínio lógico nos últimos anos, eles ainda têm dificuldades para usar diferentes ferramentas e executar tarefas complexas que envolvem várias etapas. "Eles não têm armazenamento de memória de longo prazo e não conseguem aprender continuamente com as experiências. Não conseguem adquirir habilidades no trabalho como os humanos", diz ele.

A análise oferece um contraponto a um indicador de trabalho econômico divulgado em setembro pela OpenAI, chamado GDPval , que pretende mensurar o trabalho economicamente valioso. Segundo o GDPval, modelos de IA de ponta, como o GPT-5, estão se aproximando das habilidades humanas em 220 tarefas em uma variedade de funções administrativas. A OpenAI não se pronunciou.

“Debatemos a IA e os empregos há anos, mas a maior parte das discussões tem sido hipotética ou teórica”, acrescenta Bing Liu, diretor de pesquisa da Scale AI.

Liu e Hendrycks reconhecem que o novo parâmetro não é uma medida perfeita do impacto econômico da IA. Muitas profissões incluem tarefas não abrangidas pela métrica. Na realidade, muitos freelancers também provavelmente usarão a IA como uma ferramenta que amplifique sua produtividade.

A ideia de que a IA já está eliminando empregos está ganhando força. Esta semana, a Amazon anunciou o corte de 14 mil vagas, uma medida que atribuiu, em parte, à rápida ascensão da inteligência artificial generativa. "Esta geração de IA é a tecnologia mais transformadora que vimos desde a internet", escreveu Beth Galetti, vice-presidente sênior de experiência do usuário e tecnologia da Amazon, em um memorando público. "Ela está permitindo que as empresas inovem muito mais rápido do que nunca (em segmentos de mercado existentes e em segmentos totalmente novos)."

Contudo, se o Índice de Trabalho Remoto servir de indicador, é improvável que a IA ocupe qualquer uma dessas vagas.

Você está preocupado com a possibilidade da IA ​​roubar seu emprego? Entre em contato comigo pelo e-mail [email protected] .

Esta é uma edição da newsletter do Laboratório de IA de Will Knight . Leia as newsletters anteriores aqui.