La percée de l'IA de Deepseek: les coûts révélés

Deepseek est étonnamment bon marché sur le chat de l'IA défie les géants de l'industrie. Bénéficiant d'une auto-introduction de "Demandez n'importe quoi, obtenez une réponse surprenante", l'IA de Deepseek est devenue un concurrent du marché majeur, provoquant même des baisses importantes du cours de l'action de NVIDIA. Son succès découle d'une combinaison unique de technologie innovante et d'investissement substantiel, mais non divulgué.

Image: esigame.com

Les progrès technologiques clés comprennent:

• Prédiction multi-token (MTP): prédit plusieurs mots simultanément, augmentant la précision et l'efficacité.
• Mélange d'experts (MOE): emploie 256 réseaux de neurones, activant huit pour chaque jeton, accélérant la formation et améliorant les performances.
• Attention latente multi-tête (MLA): Extrait à plusieurs reprises les informations clés des fragments de texte, minimisant le risque de négliger les détails cruciaux.

Deepseek a initialement réclamé un coût de formation de 6 millions de dollars pour son modèle Deepseek V3 en utilisant 2048 GPU. Cependant, la semianalyse a révélé une infrastructure beaucoup plus étendue, englobant environ 50 000 GPU Nvidia Hopper (y compris les unités H800, H100 et H20) réparties sur plusieurs centres de données. Cette infrastructure représente un investissement total de serveur d'environ 1,6 milliard de dollars, avec des dépenses opérationnelles estimées à 944 millions de dollars.

Image: esigame.com

Deepseek, une filiale de High-Flyer, un fonds spéculatif chinois, possède ses centres de données, fournissant un contrôle sur l'optimisation et une mise en œuvre plus rapide de l'innovation. Son statut autofinancé améliore l'agilité. La société attire les meilleurs talents, certains chercheurs gagnant plus de 1,3 million de dollars par an, principalement des universités chinoises.

Le chiffre initial de 6 millions de dollars ne reflète probablement que les coûts de GPU avant la formation, l'exclusion de la recherche, du raffinement, du traitement des données et des dépenses globales d'infrastructure. L'investissement total total du développement de l'IA de Deepseek dépasse 500 millions de dollars. Sa structure rationalisée permet une innovation efficace par rapport aux concurrents plus grands et plus bureaucratiques.

Image: esigame.com

Alors que le succès de Deepseek présente le potentiel concurrentiel d'une société d'IA indépendante bien financée, la réclamation du "budget révolutionnaire" est trompeuse. Leur succès est attribué à des investissements substantiels, à des percées technologiques et à une équipe solide. Cependant, même avec ces dépenses importantes, les coûts de Deepseek restent considérablement inférieurs à ceux des concurrents. Par exemple, le modèle R1 de Deepseek a coûté 5 millions de dollars pour s'entraîner, par rapport aux 100 millions de dollars de ChatGPT4.

Image: esigame.com