AI is niet in staat gebleken programmeurs te vervangen

Specialisten van het bedrijf OpenAI hebben beoordeeld in hoeverre kunstmatige intelligentie (AI) zelfstandig code kan schrijven. De studie is gepubliceerd op de preprintserver arXiv .

Ingenieurs bij OpenAI, dat de ChatGPT-chatbot ontwikkelt en ondersteunt, vertellen hoe succesvol AI programmeurs kan vervangen. Ze testten drie modellen voor kunstmatige intelligentie door computercode te schrijven en de fouten van anderen te corrigeren. Het bleek dat AI-vaardigheden niet voldoende zijn om zelfs beginnende programmeurs te vervangen.

Het team testte hun instapmodel o1 en vlaggenschipmodel GPT-4o, evenals de Claude 3.5 Sonnet van Anthropic. Ze gebruikten de SWE-Lancer-benchmark, die is gebaseerd op 1.400 programmeertaken van de freelancesite Upwork. De modellen moesten de taken uitvoeren zonder internettoegang. Volgens journalisten van Futurism konden ze niet online gaan en de oplossing 'kopiëren'.

Ingenieurs merkten dat de modellen van het onderdeel fouten bevatten, omdat ze de context niet begrepen. "Dit leidde tot onjuiste of onvoldoende uitgebreide beslissingen." De Claude 3.5 Sonnet presteerde het beste, maar de meeste reacties van het model waren onjuist. Onderzoekers van OpenAI zijn tot de conclusie gekomen dat AI IT-specialisten momenteel niet kan vervangen. Journalisten van het futurisme herinnerden zich dat Sam Altman, CEO van OpenAI, beloofde dat er tegen het einde van 2025 modellen zouden verschijnen die programmeerproblemen op instapniveau efficiënt zouden oplossen.

Half februari kondigde OpenAI CEO Sam Altman het gratis GPT-5-model aan. Hij beloofde ook dat toekomstige modellen gebaseerd zouden zijn op redeneringen.