Hoe supercomputing zich zal ontwikkelen, volgens Jack Dongarra

High-performance supercomputing – ooit het exclusieve domein van wetenschappelijk onderzoek – is nu een strategische bron voor het trainen van steeds complexere modellen voor kunstmatige intelligentie (AI). Deze convergentie van AI en HPC herdefinieert niet alleen deze technologieën, maar ook de manieren waarop kennis wordt geproduceerd, en neemt een strategische positie in binnen het wereldwijde landschap.

Om te bespreken hoe HPC zich ontwikkelt, sprak WIRED in juli met Jack Dongarra, een Amerikaanse computerwetenschapper die de afgelopen veertig jaar een belangrijke bijdrage heeft geleverd aan de ontwikkeling van HPC-software – zozeer zelfs dat hij in 2021 de prestigieuze Turing Award won. De bijeenkomst vond plaats tijdens de 74e Nobelprijswinnaarsbijeenkomst in Lindau, Duitsland , waar tientallen Nobelprijswinnaars en meer dan 600 opkomende wetenschappers van over de hele wereld bijeenkwamen.

Dit interview is bewerkt om het korter en duidelijker te maken.

WIRED: Welke rol spelen kunstmatige intelligentie en quantum computing in de wetenschappelijke en technologische ontwikkeling in de komende jaren?

Jack Dongarra: Ik zou zeggen dat AI al een belangrijke rol speelt in de manier waarop wetenschap wordt bedreven: we gebruiken AI op veel manieren om wetenschappelijke ontdekkingen te ondersteunen. Het wordt gebruikt in computers en helpt ons te benaderen hoe dingen zich gedragen. Ik zie AI dus als een manier om een benadering te krijgen, en die benadering vervolgens te verfijnen met traditionele technieken.

Tegenwoordig hebben we traditionele technieken voor modellering en simulatie, en die draaien op computers. Als je een zeer complex probleem hebt, wend je je tot een supercomputer om te begrijpen hoe je de oplossing berekent. AI gaat dat sneller, beter en efficiënter maken.

AI zal ook een impact hebben die verder reikt dan de wetenschap – het zal belangrijker zijn dan het internet toen het ontstond. Het zal zo alomtegenwoordig zijn in alles wat we doen. Het zal op zoveel manieren worden gebruikt die we vandaag de dag nog niet echt hebben ontdekt. Het zal een groter doel dienen dan het internet de afgelopen 15, 20 jaar heeft gedaan.

Quantum computing is interessant. Het is echt een fantastisch onderzoeksgebied, maar ik heb het gevoel dat we nog een lange weg te gaan hebben. We hebben tegenwoordig voorbeelden van quantumcomputers – hardware komt altijd vóór software – maar die voorbeelden zijn erg primitief. Met een digitale computer denken we aan het uitvoeren van een berekening en het verkrijgen van een antwoord. De quantumcomputer geeft ons daarentegen een waarschijnlijkheidsverdeling van waar het antwoord ligt, en je voert een aantal - laten we het 'runs' noemen - runs uit op de quantumcomputer, en die geeft je een aantal mogelijke oplossingen voor het probleem, maar hij geeft je niet het antwoord. Dus het wordt anders.

Zitten we met quantum computing in een hype?

Ik denk dat het helaas te veel is aangeprezen – er is te veel hype rond quantum. Het resultaat is meestal dat mensen er enthousiast over worden, maar dat het vervolgens geen enkele belofte waarmaakt, en dan zakt de opwinding weg.

We hebben dit al eerder gezien: AI heeft die cyclus doorgemaakt en is hersteld. En nu is AI echt iets. Mensen gebruiken het, het is productief en het zal ons allemaal op een zeer substantiële manier van dienst zijn. Ik denk dat kwantummechanica die winter moet doorstaan, waarin mensen erdoor ontmoedigd zullen raken, het zullen negeren, en dan zullen er slimme mensen zijn die erachter komen hoe ze het kunnen gebruiken en hoe ze het kunnen laten concurreren met traditionele technologieën.

Er zijn veel problemen die opgelost moeten worden. Quantumcomputers zijn erg gemakkelijk te verstoren. Ze zullen veel "fouten" hebben – ze zullen kapotgaan vanwege de kwetsbaarheid van de computer. Totdat we ze beter bestand kunnen maken tegen die fouten, zullen ze niet helemaal doen wat we hopen. Ik denk niet dat we ooit een laptop zullen hebben die een quantumlaptop is. Ik kan het mis hebben, maar ik denk zeker niet dat het in mijn leven zal gebeuren.

Quantumcomputers hebben ook quantumalgoritmen nodig, en vandaag de dag hebben we nog maar weinig algoritmen die effectief op een quantumcomputer kunnen draaien. Quantumcomputing staat dus nog in de kinderschoenen, en daarmee ook de infrastructuur die de quantumcomputer zal gebruiken. Dus quantumalgoritmen, quantumsoftware, de technieken die we hebben, die zijn allemaal erg primitief.

Wanneer kunnen we de overgang van traditionele naar kwantumsystemen verwachten, als dat ooit gebeurt?

Tegenwoordig hebben we wereldwijd veel supercomputercentra met zeer krachtige computers. Dat zijn digitale computers. Soms wordt de digitale computer uitgebreid met iets om de prestaties te verbeteren: een accelerator. Tegenwoordig zijn die accelerators GPU's, grafische verwerkingseenheden (GPU's). De GPU doet iets heel goed, en hij doet dat gewoon goed, hij is ontworpen om dat te doen. Vroeger was dat belangrijk voor graphics; tegenwoordig zijn we dat aan het herstructureren, zodat we een GPU kunnen gebruiken om aan een aantal van onze rekenbehoeften te voldoen.

In de toekomst denk ik dat we de CPU en de GPU zullen uitbreiden met andere apparaten. Misschien zouden we daar ook quantumcomputers aan kunnen toevoegen. Misschien neuromorfische computers – computers die de werking van onze hersenen nabootsen. En dan hebben we optische computers. Stel je voor dat er licht op schijnt en dat licht interfereert, en die interferentie is in feite de berekening die je wilt uitvoeren. Denk aan een optische computer die twee lichtbundels gebruikt en in het licht getallen codeert. Wanneer die in deze computer interacteren, produceert die een output, namelijk de vermenigvuldiging van die getallen. En dat gebeurt met de lichtsnelheid. Dat is dus ongelooflijk snel. Dat is dus een apparaat dat misschien in deze CPU, GPU, quantumcomputer en neuromorfische computer zou passen. Dat zijn allemaal dingen die misschien gecombineerd zouden kunnen worden.

Welke invloed heeft de huidige geopolitieke concurrentie – tussen China, de Verenigde Staten en andere landen – op de ontwikkeling en het delen van technologie?

De VS legt computergebruik tot op zekere hoogte beperkingen op aan de verkoop in China. Bepaalde onderdelen van Nvidia mogen daar bijvoorbeeld niet meer verkocht worden. Maar ze worden wel verkocht aan gebieden in China, en als ik Chinese collega's bezoek en kijk wat er in hun computers zit, zie ik dat ze veel Nvidia-spullen hebben. Dus er is een onofficiële route.

Tegelijkertijd is China overgestapt van het kopen van westerse technologie naar investeren in eigen technologie, waarbij het meer geld investeert in het onderzoek dat nodig is om deze te verbeteren. Mogelijk heeft deze opgelegde beperking averechts gewerkt, omdat China de ontwikkeling van onderdelen die het veel beter kan controleren dan anders het geval zou zijn, heeft versneld.

De Chinezen hebben ook besloten dat informatie over hun supercomputers niet geadverteerd mag worden. We weten er wel van – hoe ze eruitzien, wat hun potentieel is en wat ze gedaan hebben – maar er is geen maatstaf waarmee we die computers op een gecontroleerde manier kunnen vergelijken met de machines die we hebben. Ze hebben zeer krachtige machines die waarschijnlijk net zo krachtig zijn als de belangrijkste machines die we in de VS hebben.

Ze zijn gebouwd op technologie die in China is uitgevonden of ontworpen. Ze hebben hun eigen chips ontworpen. Ze concurreren met de chips die we in de computers in het Westen hebben. En de vraag die mensen zich stellen is: waar werden die chips geproduceerd? De meeste chips die in het Westen worden gebruikt, worden geproduceerd door de Taiwan Semiconductor Manufacturing Company. China heeft technologie die een generatie of twee achterloopt op die van TSMC, maar ze gaan die inhalen.

Ik vermoed dat sommige Chinese chips ook in Taiwan worden geproduceerd. Als ik mijn Chinese vrienden vraag: "Waar zijn jullie chips geproduceerd?", zeggen ze China. En als ik ze onder druk zet en vraag: "Wordt die dan in Taiwan geproduceerd?", dan komt het antwoord uiteindelijk neer op: Taiwan is onderdeel van China.

Hoe zal de rol van programmeurs en ontwikkelaars veranderen naarmate AI zich ontwikkelt? Kunnen we straks software schrijven met alleen natuurlijke taal?

Ik denk dat AI een zeer belangrijke rol speelt bij het wegnemen van een deel van de tijdrovende onderdelen van programmaontwikkeling. Het heeft alle beschikbare informatie over de programma's van anderen verzameld, synthetiseert die en kan die vervolgens verder ontwikkelen. Ik was erg onder de indruk toen ik sommige van deze systemen vroeg om software te schrijven voor een bepaalde taak; de AI doet dat behoorlijk goed. En dan kan ik dat verfijnen met een andere prompt, zoals "Optimaliseer dit voor dit soort computer", en dat doet het behoorlijk goed. Ik denk dat we in de toekomst steeds vaker taal zullen gebruiken om een verhaal aan AI te beschrijven, en haar vervolgens een programma laten schrijven om die functie uit te voeren.

Natuurlijk zijn er grenzen – en we moeten oppassen dat hallucinaties of iets dergelijks ons de verkeerde resultaten opleveren. Maar misschien kunnen we controles inbouwen om de oplossingen die AI produceert te verifiëren en die gebruiken om de potentiële nauwkeurigheid van die oplossing te meten. We moeten ons bewust zijn van de potentiële problemen, maar ik denk dat we op dit vlak vooruitgang moeten boeken.

Dit verhaal verscheen oorspronkelijk op WIRED Italia en is vertaald uit het Italiaans.