Deepseek's verrassend goedkope AI -chatbot daagt reuzen uit de industrie uit. Met een zelfintroductie van "Vraag iets, krijg een verrassend antwoord", is Deepseek's AI een belangrijke marktconcurrent geworden en heeft zelfs belangrijke dalingen in de aandelenkoers van Nvidia veroorzaakt. Het succes komt voort uit een unieke combinatie van innovatieve technologie en substantiële, zij het niet bekendgemaakte investeringen.
afbeelding: ensigame.com
Belangrijkste technologische vooruitgang omvat:
- Multi-Token Prediction (MTP): voorspelt meerdere woorden tegelijkertijd, waardoor de nauwkeurigheid en efficiëntie worden verhoogd.
- Mix van experts (MOE): gebruikt 256 neurale netwerken, activeren acht voor elk token, versnellende training en verbetering van de prestaties.
- Multi-head latente aandacht (MLA): Herhaaldelijk extraheert belangrijke informatie uit tekstfragmenten, waardoor het risico op cruciale details wordt geminimaliseerd.
Deepseek claimde aanvankelijk slechts $ 6 miljoen trainingskosten voor zijn Deepseek V3 -model met behulp van 2048 GPU's. Semianyse onthulde echter een veel uitgebreidere infrastructuur, die ongeveer 50.000 NVIDIA -hopper GPU's (inclusief H800-, H100- en H20- en H20 -eenheden) omvatte over meerdere datacenters. Deze infrastructuur vertegenwoordigt een totale serverinvestering van ongeveer $ 1,6 miljard, met operationele kosten geschat op $ 944 miljoen.
afbeelding: ensigame.com
Deepseek, een dochteronderneming van high-flyer, een Chinees hedgefonds, bezit zijn datacenters en biedt controle over optimalisatie en snellere innovatie-implementatie. Zijn zelf gefinancierde status verbetert de behendigheid. Het bedrijf trekt toptalent aan, met sommige onderzoekers die jaarlijks meer dan $ 1,3 miljoen verdienen, voornamelijk van Chinese universiteiten.
Het initiële cijfer van $ 6 miljoen weerspiegelt waarschijnlijk alleen pre-training GPU-kosten, exclusief onderzoek, verfijning, gegevensverwerking en algemene infrastructuurkosten. De totale AI -ontwikkelingsinvestering van Deepseek is groter dan $ 500 miljoen. De gestroomlijnde structuur zorgt voor efficiënte innovatie in vergelijking met grotere, meer bureaucratische concurrenten.
afbeelding: ensigame.com
Hoewel het succes van Deepseek het concurrentiepotentieel van een goed gefinancierd onafhankelijk AI-bedrijf toont, is de claim "revolutionaire begroting" misleidend. Hun succes wordt toegeschreven aan substantiële investeringen, technologische doorbraken en een sterk team. Zelfs met deze aanzienlijke uitgaven blijven de kosten van Deepseek echter aanzienlijk lager dan concurrenten. Het R1 -model van Deepseek kost bijvoorbeeld $ 5 miljoen om te trainen, vergeleken met de $ 100 miljoen van Chatgpt4.
afbeelding: ensigame.com
