DeepSeek R2 vertraagd door Huawei-chips

De Chinese startup DeepSeek heeft de lancering van zijn LLM R2 uitgesteld. De fout lijkt te liggen bij de Ascend-chips van Huawei, die het bedrijf gebruikte om het model te trainen in plaats van componenten van het Amerikaanse Nvidia, op expliciete suggestie van de Chinese autoriteiten. De Financial Times meldt dat de lancering van R2 al in mei had moeten plaatsvinden.

Eerder dit jaar verraste DeepSeek de AI-industrie met de lancering van R1, een gratis, open-source LLM die net zo capabel was als OpenAI 's GPT o1-model, zo niet capabeler, maar die tegen veel lagere kosten kon worden getraind. Na het succes van R1 spoorde de Chinese overheid het bedrijf aan om alternatieven te zoeken voor Nvidia's H20-chips voor het trainen van zijn nieuwe modellen. De keuze viel op Huawei's Ascend-chips, maar deze bleken minder capabel dan hun buitenlandse tegenhangers. Volgens sommige interne bronnen kampen de componenten van de Chinese gigant met stabiliteitsproblemen en lagere verbindingssnelheden tussen chips dan de H20's. De software voor trainingsbeheer voldoet naar verluidt ook niet aan de eisen van Nvidia 's CUDA-toolkit.

Chipmix

Om het probleem aan te pakken, zou Huawei zijn technici hebben gestuurd om nauw samen te werken met de collega's van DeepSeek, maar zelfs directe interventie door de technici kon het probleem niet oplossen. Om deze reden werd R2 uiteindelijk omgeschoold met Nvidia-chips, maar de startup zal nog steeds chips van collega-bedrijf Huawei gebruiken voor de inferentieprocessen, d.w.z. het berekenen van de output op basis van nieuwe gegevens die door gebruikers zijn ingevoerd.

Als alles volgens plan verloopt, zou R2 eindelijk binnen enkele weken moeten verschijnen, ongeveer drie maanden later dan de oorspronkelijk geplande lanceringsdatum. Dit lijkt misschien niet lang, maar in een snelgroeiende sector als generatieve AI is dit een enorm tijdsbestek, waardoor concurrenten (waaronder Chinese) de kans krijgen om hun positie te consolideren, nieuwe functies te lanceren en een aanzienlijk marktaandeel te verwerven.

Het Nvidia-knooppunt

Afgelopen dinsdag, 12 augustus, kondigde de regering-Trump een ongekende overeenkomst aan met Nvidia en AMD. Beide mogen hun chips verkopen aan Chinese bedrijven, mits ze de Amerikaanse overheid 15% van de opbrengst van de verkoop in China betalen. De maatregel is waarschijnlijk ongrondwettelijk, maar zowel Nvidia als AMD hebben de voorwaarden geaccepteerd om geen toegang te verliezen tot een cruciale AI-markt qua volume en groeipotentieel. Peking heeft zijn bedrijven op zijn beurt gewaarschuwd voorzichtig te zijn bij de aankoop van versies van Nvidia H20-chips die bedoeld zijn voor de Chinese markt. Volgens experts die door de centrale autoriteiten worden aangehaald, integreren de componenten tracking- en op afstand uitschakelsystemen. Kortom, het zouden Trojaanse paarden kunnen zijn en een geopolitiek risico vormen voor de gehele AI-sector in China.

Volgens de overeenkomst met de regering van Trump mag Nvidia op dit moment alleen H20-chips exporteren, terwijl de geavanceerdere en krachtigere chips uit de nieuwe Blackwell-serie, die in 2024 werd aangekondigd, alleen in een afgeslankte versie in China verkrijgbaar zullen zijn.