Een Spoetnik-moment
– Ex-Microsoft-medewerker Dave Plummer vertelt op zijn YouTube-kanaal Dave’s Garage over de Chinese AI-chatbot DeepSeek. Hij legt uit wat DeepSeek zo speciaal maakt in vergelijking met concurrenten zoals ChatGPT
Een Ferrari gemaakt van reserveonderdelen
DeepSeek is veel goedkoper geweest intrainingdan ChatGPT en vergelijkbare LLM’s. De factor waarmee het eigenlijk goedkoper zou moeten zijn, wordt echter betwist
De ex-Microsoft-medewerker Plummer spreekt op zijn YouTube-kanaal, net als andere bronnenvan minder dan 6 miljoen dollar die naar DeepSeek zou zijn gevloeid. Dat is een fractie van de miljarden die in de modellen van de concurrentie zijn geïnvesteerd.Noch kan de AI vlaggenschepen als ChatGPT bijhouden.
Bovendien zouden de ontwikkelaars van de AI geen toegang hebben gehad tot de nieuwste Nvidia-chips Hun prestaties zouden immers zo belangrijk zijn voor de AI-hausse dat Nvidia een van de meest waardevolle bedrijven is geworden. En dat terwijl het kernproduct waarvoor velen Nvidia kennen, namelijk grafische kaarten voor games, slechts tot de verre favorieten van het bedrijf behoort
Volgens Plummer is
DeepSeek net zoiets als
Een Ferrari gebouwd van reserveonderdelen – net zo goed, maar veel goedkoper.
Net als meester en leerling
Dit wordt mogelijk gemaakt door een ander soort training. Net als het model waarop ChatGPT is gebaseerd, is DeepSeek een model voor grote talen.Het is echter eengedistilleerd model
(gedistilleerd model
).
Dit betekent dat een kleiner model wordt getraind met behulp van grote modellen, zodanig dat het resultaten oplevert die zo veel mogelijk lijken op de grote modellen – maar met veel minder middelen.
Dit betekent dat hoewel de grote modellen nog steeds een grotere kennisbasis hebben,het kleinere model in de meeste toepassingen bijna net zo goed presteert.
Plummer vergelijkt dit in zijn video:
Het is alsof een meester zijn leerling traint – de leerling hoeft niet alles te weten, maar hij kan het werk net zo goed doen.
Eén van dezemeesters
was het open source model Llama van Meta, maar ook OpenAI’s ChatGPT.
Deze kennisdistillatie maakt DeepSeek aanzienlijk hulpbronefficiënter Het vereist ook niet langer de immense hardware met honderden GPU’s in enorme datacenters zoals de grote modellen om te werken
Maar dit brengt Plummer ook tot de vraag:
Als je een Ferrari in je garage kunt bouwen van Chevy-onderdelen, wat betekent dat dan voor de waarde van een Ferrari?
Herinneringen aan de pc-revolutie
Voor de dure originele Ferrari betekent dit in eerste instantie natuurlijk niets goeds
Het voordeel voor gebruikers is echter dat zehet model ook lokaal op hun thuishardware kunnen draaien Natuurlijk kan DeepSeek niet op elke kleine werknotebook lokaal draaien. Plummer vereist een AMD Threadripper met een Nvidia RTX 6000 GPU (48 GB VRAM) voor het grootste DeepSeek-model Kleinere varianten draaiden zelfs op eenMacBook Pro
Hij wordt door deze ontwikkeling herinnerd aan de tijd van de pc-revolutie.
Het doet me denken aan de begindagen van pc’s – ze waren niet zo goed als mainframes, maar ze veranderden de wereld.
Toen computers nog werden gezien als mainframes (Mainframes
) voor zakelijke toepassingen, kon niemand bevroeden dat op een dag iedereen er een thuis zou hebben tegen een betaalbare prijs.
Een Spoetnik-moment
Anders dan bij de PC-revolutie zijn er vandaag echter geopolitieke implicaties om rekening mee te houden DeepSeek is een Chinees model dat vooral de concurrentie aangaat met Amerikaanse bedrijven uit Silicon Valley
Plummer noemt dit hetSputnik-moment
Dit is een zinspeling op de Sovjet satelliet Spoetnik, waarvan de lancering in 1957 het begin van de ruimtewedloop (Space Race
) betekende eneen nieuwe fase van systemische concurrentie tussen de Sovjet-Unie en het Westen in de Koude Oorlog.
Op dezelfde manier leidt de ontwikkeling van DeepSeek tot geopolitieke spanningen die de concurrentie tussen de VS als technologische hegemon en China als opkomende wereldmacht weerspiegelen.
Deze technologische concurrentie is niet alleen een strijd om innovatie, maar staat ook symbool voor de systemische rivaliteit tussen de kapitalistische democratie van de VS en het staatskapitalisme van China.
