Cabanas inventadas, rotas que ameaçam a vida – e algumas ideias úteis: quando a IA planeja a rota de caminhada

O plano parece ótimo: três dias de caminhada, duas pernoites – no Refúgio Legler e no Refúgio Rugghubel. Ambos oferecem quartos duplos. Ao longo do caminho, haverá camurças e lagos glaciais, além de fondue de queijo alpino no destino. Tudo isso é prometido pelo chatbot que planejou a rota.

Se você procurar os chalés no mapa, ficará decepcionado: não são as seis horas de viagem prometidas entre eles, mas 50 quilômetros em linha reta.

A inteligência artificial pode traduzir, redigir e-mails e, muitas vezes, sabe a resposta certa até para as perguntas mais difíceis . Se as promessas das empresas de tecnologia forem verdadeiras, em breve ela assumirá cargos de alta qualificação. Mas como ela se sai em tarefas realmente úteis — perguntas cujas respostas não podem ser encontradas online com apenas alguns cliques? Como planejar uma caminhada? Nós a testamos.

O prompt, ou seja, a solicitação a todos os chatbots testados, foi o seguinte:

Quero fazer uma trilha de três dias com duas pernoites em abrigos alpinos na Suíça. Quero me hospedar apenas em quartos duplos. Selecione os abrigos e trilhas adequados:

• duas cabanas para uma caminhada de três dias,
• com quarto de casal,
• tempo máximo de viagem de oito horas entre as cabanas,
• a menos de três horas de Zurique.

Enviamos a solicitação para um total de nove chatbots dos provedores Anthropic, Deepseek, Google, Open AI, Manus, Microsoft e Perplexity. Sete deles eram gratuitos e dois eram pagos.

Habilitamos recursos de pesquisa na internet e, quando disponíveis, de pesquisa e reflexão para obter os melhores resultados possíveis da IA.

O chatbot respondeu a perguntas breves. Cada um dos chatbots fez de uma a três sugestões, que então avaliamos. Na maioria dos casos, os resultados foram surpreendentes.

Em primeiro lugar, todos os chatbots tinham ideias. Em tom entusiasmado, anunciavam ótimas caminhadas com belas vistas e quartos duplos aconchegantes.

Ao analisar as respostas, no entanto, rapidamente ficou claro: a IA frequentemente anunciava quartos duplos onde não havia nenhum. A versão gratuita da IA da Anthropic, Claude, inventou quartos duplos para ambas as cabines sugeridas, enquanto a versão paga ainda o fazia para três das seis cabines.

E enquanto procurávamos pela "Oberhornseehütte" sugerida pelo Deepseek, ficou claro que o chatbot a havia inventado completamente. O fato de também ter sugerido uma caminhada no vale fechado de Lötschental parece um deslize perdoável.

Como esses detalhes inventados surgem? A suspeita inicial era de que os chatbots tinham acessado descrições reais de caminhadas de vários dias, mas não conseguiam determinar se os chalés à beira da trilha realmente tinham quartos duplos. Essa hipótese se revelou falsa.

A existência de uma rota de caminhada é mais difícil de verificar do que a de um quarto duplo. Teoricamente, você pode fazer trilhas que ninguém descreveu online. Na prática, se você não conseguir encontrar uma rota entre dois chalés online, isso é um sério sinal de alerta.

A versão gratuita do AI Claude da Anthropic, por exemplo, sugeriu uma caminhada de cinco horas e meia de Grindelwald pelo "Scheidegg-Wetterhorn" até o refúgio de mesmo nome ("2061 m, vista do Eiger, Mönch e Jungfrau").

A IA ignorou o fato de que o Scheideggwetterhorn tem 3.360 metros de altura e só pode ser alcançado após horas de escalada em alto nível de dificuldade, bem como o fato de não haver um refúgio no Scheideggwetterhorn. O chatbot até forneceu o número de telefone do refúgio. Pelo menos o número de resgate em montanha (1414) listado está correto. Qualquer pessoa que confie nas informações deste chatbot pode precisar delas.

Embora a versão paga do Claude sugerisse apenas cabanas de verdade, as caminhadas de um dia entre elas foram impossíveis em dois dos três casos. Tanto a Glecksteinhütte quanto a Rotstockhütte, assim como a Blüemlisalphütte e a Lämmerenhütte, têm 20 quilômetros em linha reta e incluem várias montanhas e vales. As informações de tempo, distância e elevação do chatbot estavam incorretas .

Apenas a terceira caminhada sugerida na região de Appenzell era viável com base nos dados principais, embora tenha sido descrita incorretamente.

O provedor chinês Deepseek, o Copilot da Microsoft e o mecanismo de busca de IA Perplexity também sugeriram rotas de caminhada que não existem.

Aparentemente, todas essas IAs memorizaram os nomes de cabanas e montanhas na Suíça e sabem como é a descrição de uma rota. No entanto, essas informações não são apresentadas de forma organizada, mas sim em uma mistura colorida, criando uma rota de caminhada aparentemente plausível que não existe.

Mas não é como se os chatbots atuais não estivessem à altura da tarefa. Os melhores chatbots entregam resultados úteis.

O vencedor do nosso teste foi o chatbot Gemini, do Google. No modo de pesquisa da versão gratuita, ele sugeriu três trilhas, todas atendendo aos critérios especificados. Ele não inventou quartos duplos nem trilhas para caminhadas.

Este chatbot também foi o mais fácil de controlar, pois fornecia um link direto para uma fonte para cada frase. Este é provavelmente o motivo pelo qual o Gemini obteve resultados tão bons. O bot depende muito de buscas na internet.

Gemini seguiu rotas de caminhada que já haviam sido descritas em blogs, garantindo que a trilha existe e até já foi recomendada como caminhada antes.

O Google incorporou sua capacidade de encontrar informações online ao modo de pesquisa do Gemini – neste caso, com resultados animadores. O processo de busca deve ter sido bastante trabalhoso; a IA levou mais de dez minutos para concluir.

O segundo lugar é ainda mais surpreendente: vai para o chatbot Manus, da empresa chinesa Monica, sediada em Singapura. O Manus causou alvoroço há três meses, quando os primeiros usuários o avaliaram com entusiasmo. De fato, ele teve um desempenho bastante bom em nossos testes. O chatbot sugeriu uma rota viável entre acomodações com quartos duplos.

Ao contrário de todos os outros chatbots, Manus inicialmente interpretou mal nossa solicitação. Ele interpretou o tempo de viagem de Zurique não como o início da caminhada, mas como a chegada ao primeiro refúgio. Como resultado, o primeiro dia de caminhada foi eliminado. Após uma consulta aprimorada, os resultados foram muito bons.

Manus sugeriu duas rotas viáveis no Alpstein, com pernoites em pousadas de montanha. Uma delas era muito adequada para um passeio de três dias, a segunda um pouco menos, devido ao grande número de descidas e subidas entre os dois chalés.

E há também o Chat-GPT, o chatbot que se tornou sinônimo de IA generativa para a maioria das pessoas — e ainda é, de longe, o mais utilizado . Essa posição não é totalmente injusta, pelo menos de acordo com nossos testes. Ambas as IAs da Open AI sugeriram rotas viáveis que passavam por acomodações com quartos duplos.

A versão gratuita do Chat-GPT recebeu pontos negativos por detalhes fictícios sobre a rota. E a versão paga, semelhante ao Manus, primeiro desce para um vale e depois volta a subir pelo outro lado.

Uma busca na internet mostra que os chatbots provavelmente combinaram essas rotas. Eles não podem ser encontrados em nenhum outro lugar com esse formato. Para algumas perguntas, essa abordagem é vantajosa. Pode levar a soluções totalmente novas.

No entanto, quando se trata de trilhas, é preferível que um chatbot se baseie em ideias que alguém já descreveu online. Portanto, o Gemini surge como o vencedor neste caso, embora o Manus esteja logo atrás. A versão paga do Chat-GPT vem em terceiro lugar.

Aliás, outros já tiveram a ideia de usar IA generativa para rotas de caminhada. O aplicativo americano Alltrails deve sugerir novas alternativas geradas por IA para trilhas, por exemplo, otimizando a visualização ou sugerindo atalhos. Esperamos que uma tecnologia mais confiável esteja em execução em segundo plano do que a usada pelos chatbots que testamos.

Um artigo do « NZZ am Sonntag »