Ce modèle d'IA n'arrête jamais d'apprendre

Les grands modèles de langage modernes (LLM) peuvent écrire de beaux sonnets et du code élégant, mais ils manquent même d'une capacité rudimentaire à apprendre de l'expérience.

Des chercheurs du Massachusetts Institute of Technology (MIT) ont désormais mis au point un moyen permettant aux LLM de continuer à s'améliorer en ajustant leurs propres paramètres en réponse à de nouvelles informations utiles.

Ces travaux constituent une étape importante vers la création de modèles d'intelligence artificielle capables d'apprendre en continu – un objectif de longue date dans ce domaine et un élément crucial pour que les machines puissent imiter toujours plus fidèlement l'intelligence humaine. En attendant, ils pourraient nous donner naissance à des chatbots et autres outils d'IA plus à même d'intégrer de nouvelles informations, notamment les centres d'intérêt et les préférences des utilisateurs.

Le programme du MIT, appelé Self Adapting Language Models (SEAL), implique qu'un LLM apprenne à générer ses propres données de formation synthétiques et à mettre à jour sa procédure en fonction des entrées qu'il reçoit.

« L'idée initiale était d'explorer si les jetons [unités de texte alimentées et générées par les LLM] pouvaient entraîner une mise à jour puissante d'un modèle », explique Jyothish Pari, doctorant au MIT impliqué dans le développement de SEAL. Pari précise que l'idée était de voir si les résultats d'un modèle pouvaient être utilisés pour l'entraîner.

Adam Zweiger, chercheur de premier cycle au MIT impliqué dans la construction de SEAL, ajoute que même si les modèles plus récents peuvent « raisonner » pour trouver de meilleures solutions en effectuant des inférences plus complexes, le modèle lui-même ne bénéficie pas de ce raisonnement à long terme.

SEAL, en revanche, génère de nouvelles connaissances et les intègre ensuite à ses propres pondérations ou paramètres. Par exemple, à partir d'une déclaration sur les défis du programme spatial Apollo, le modèle a généré de nouveaux passages qui tentent d'en décrire les implications. Les chercheurs ont comparé ce processus à la façon dont un étudiant rédige et révise ses notes pour faciliter son apprentissage.

Le système a ensuite mis à jour le modèle à l'aide de ces données et testé sa capacité à répondre à une série de questions. Enfin, cela fournit un signal d'apprentissage par renforcement qui guide le modèle vers des mises à jour améliorant ses capacités globales et favorisant la poursuite de son apprentissage.

Les chercheurs ont testé leur approche sur des versions de petite et moyenne taille de deux modèles open source : Llama de Meta et Qwen d'Alibaba. Ils affirment que cette approche devrait également fonctionner pour des modèles frontaliers beaucoup plus vastes.

Les chercheurs ont testé l'approche SEAL sur du texte ainsi qu'un benchmark appelé ARC, qui évalue la capacité d'un modèle d'IA à résoudre des problèmes de raisonnement abstrait. Dans les deux cas, ils ont constaté que SEAL permettait aux modèles de poursuivre leur apprentissage bien au-delà de leur formation initiale.

Pulkit Agrawal, professeur au MIT qui a supervisé les travaux, affirme que le projet SEAL aborde des thèmes importants en IA, notamment la manière de permettre à l'IA de déterminer elle-même ce qu'elle doit apprendre. Il affirme que ce projet pourrait contribuer à personnaliser davantage les modèles d'IA. « Les masters de droit sont puissants, mais nous ne voulons pas que leurs connaissances s'arrêtent », conclut-il.

SEAL ne permet pas encore à l'IA de s'améliorer indéfiniment. D'une part, comme le souligne Agrawal, les LLM testés souffrent de ce que l'on appelle « l'oubli catastrophique », un effet inquiétant observé lorsque l'ingestion de nouvelles informations entraîne la disparition pure et simple des connaissances anciennes. Cela pourrait mettre en évidence une différence fondamentale entre les réseaux de neurones artificiels et les réseaux biologiques. Pari et Zweigler soulignent également que SEAL requiert une puissance de calcul importante, et qu'on ne sait pas encore comment planifier au mieux les nouvelles périodes d'apprentissage. Une idée intéressante, mentionne Zweigler, est que, comme les humains, les LLM pourraient connaître des périodes de « sommeil » où les nouvelles informations sont consolidées.

Malgré toutes ses limites, SEAL constitue une nouvelle voie passionnante pour la recherche en IA, et il se pourrait bien qu’elle trouve sa place dans les futurs modèles d’IA de pointe.

Que pensez-vous d'une IA capable d'apprendre en continu ? Envoyez-moi un e-mail à [email protected] pour me le faire savoir.