Ele testou com um processador de 1997 e mostrou que apenas 128 MB de RAM são suficientes para aproveitar o poder da IA.


Não há dúvidas de que a Inteligência Artificial é a tecnologia mais poderosa disponível atualmente e, como nos disseram, uma das que mais consome energia, já que fornecer à IA a energia de que ela precisa requer máquinas superpoderosas.
Mas isso parece ser mais um mito, ou pelo menos é o que demonstra o experimento conduzido pelo EXO Labs, empresa fundada por Andrej Karpathy (figura renomada na área de IA), em colaboração com pesquisadores da Universidade de Oxford.
Isso porque os pesquisadores conseguiram rodar um modelo moderno de IA em um computador de 1997, equipado com um processador Pentium II e 128 MB de RAM . Essa conquista não apenas desafia nossas suposições sobre os requisitos da IA , mas também abre as portas para uma democratização tecnológica sem precedentes — o que significa que computadores superpoderosos não são mais necessários para executar essa tecnologia.
Embora à primeira vista este computador pareça completamente inadequado para as demandas da IA atual , esta máquina conseguiu funcionar (muito mais lentamente do que um modelo moderno) graças ao uso do BitNet, uma arquitetura de rede neural revolucionária que simplifica os processos que a IA tem que fazer, permitindo que esta tecnologia funcione em dispositivos mais modestos ou mais antigos.
LLM executado em um PC com Windows 98, hardware de 26 anos com CPU Intel Pentium II e 128 MB de RAM.
Utiliza llama98.c, nosso mecanismo de inferência C puro personalizado baseado em @karpathy llama2.c
Código e guia "faça você mesmo"? foto.twitter.com/pktC8hhvva
Além dessa conquista computacional, esse experimento tem um propósito social, já que um dos maiores obstáculos para a adoção generalizada dessa tecnologia é seu alto custo em termos de equipamentos caros e altas demandas de energia. Mas a solução da BitNet permite que modelos avançados sejam executados em hardware existente ou mais antigo , potencialmente estendendo o acesso à IA muito além de laboratórios de pesquisa e empresas de tecnologia, especialmente em países em desenvolvimento, onde os recursos de computação modernos às vezes são escassos e caros.
Além disso, de uma perspectiva ecológica, reutilizar equipamentos antigos para tarefas avançadas limitaria a produção de lixo eletrônico e reduziria a pegada de carbono associada à fabricação de novos equipamentos.
eleconomista