DeepSeek-V3 : le modèle d’IA open source chinois qui bouscule l’industrie en 2025

La sortie de ce modèle marque une avancée importante dans la course à l’intelligence artificielle générative, souvent dominée par des entreprises comme OpenAI et Meta.

Selon la presse spécialisée, DeepSeek-V3 est un modèle doté de 671 milliards de paramètres, une capacité qui le place parmi les modèles les plus avancés disponibles sur le marché. Ce qui distingue DeepSeek-V3, cependant, est son coût de développement incroyablement bas. En seulement deux mois, le modèle a été entraîné pour un coût total estimé à 5,58 millions de dollars, bien en deçà des centaines de millions de dollars investis par des géants de l’industrie pour leurs propres modèles. À titre de comparaison, le modèle Llama-3.1 de Meta aurait nécessité un investissement de plus de 500 millions de dollars.

La performance exceptionnelle de DeepSeek-V3 repose sur plusieurs innovations technologiques clés. Son architecture utilise une combinaison de l'attention latente multi-tête (MLA) et d'un système "mixture-of-experts" (MoE). Cette dernière approche permet d’activer uniquement une partie des paramètres, soit environ 37 milliards, en fonction des tâches, ce qui garantit une efficacité accrue. Le modèle intègre également deux avancées majeures : une stratégie d'équilibrage de charge sans perte auxiliaire, qui optimise l’utilisation des ressources internes, et une méthode de prédiction multi-tokens, permettant de prédire simultanément plusieurs unités textuelles. Cette dernière innovation améliore non seulement la vitesse d’exécution, avec une génération de 60 tokens par seconde, mais réduit également les coûts de traitement.

Pendant la phase de pré-entraînement, DeepSeek-V3 a été formé sur un corpus de 14,8 trillions de tokens diversifiés et de haute qualité. Le processus s’est déroulé en plusieurs étapes, avec une extension progressive de la longueur contextuelle du modèle, d’abord à 32 000 tokens, puis à 128 000 tokens. Le modèle a ensuite été affiné grâce à un ajustement supervisé (Supervised Fine-Tuning) et à l’apprentissage par renforcement (Reinforcement Learning), ce qui lui permet de mieux s’aligner sur les préférences humaines. Pendant cette phase, des capacités de raisonnement issues de modèles précédents de DeepSeek, tels que la série DeepSeekR1, ont été intégrées tout en maintenant un équilibre entre la précision et la longueur des générations.

Malgré ses coûts réduits, DeepSeek-V3 rivalise avec les meilleurs modèles sur le marché. Lors de tests comparatifs, il a surpassé plusieurs modèles open source, dont Llama-3.1-405B et Qwen 2.5-72B, et a obtenu des scores proches de modèles fermés comme GPT-4 et Claude 3.5 Sonnet dans de nombreux cas. Les performances du modèle se distinguent particulièrement sur des benchmarks mathématiques et en langue chinoise. Par exemple, DeepSeek-V3 a obtenu un score de 90,2 au test Math-500, contre 80 pour le modèle Qwen.

Le développement de DeepSeek-V3 illustre également les progrès réalisés par les entreprises chinoises d’IA, malgré les sanctions américaines limitant leur accès aux semi-conducteurs avancés. La société a utilisé plusieurs optimisations matérielles et algorithmiques pour réduire les coûts, notamment un cadre de formation mixte en précision FP8 et l’algorithme DualPipe pour le parallélisme des pipelines. Au total, l’entraînement du modèle a nécessité environ 2,78 millions d’heures GPU sur des unités H800, soit un coût approximatif de 2 dollars par heure GPU.

DeepSeek a également veillé à rendre son modèle accessible à une large communauté. DeepSeek-V3 est disponible en open source sur GitHub sous une licence MIT, permettant aux développeurs et aux entreprises de l’utiliser et de le modifier librement. Une interface utilisateur semblable à ChatGPT, appelée DeepSeek Chat, a également été mise à disposition, ainsi qu’une API pour un usage commercial. Jusqu’au 8 février, les tarifs pour cette API resteront identiques à ceux de la version précédente, DeepSeek-V2, avec une augmentation prévue par la suite.