Intelligence artificielle: Alibaba entre dans la danse avec "Qwen"

Lancé en avril 2023 sous le nom de Tongyi Qianwen, Qwen a initialement été basé sur le modèle Llama de Meta AI, avec diverses modifications. En septembre 2023, Alibaba a officiellement ouvert l’accès à son modèle après approbation des autorités chinoises. L’entreprise a ensuite mis en open source plusieurs variantes, notamment Qwen 7B en août 2023, puis les modèles 72B et 1.8B en décembre de la même année.

En juin 2024, Alibaba a lancé Qwen 2, un modèle intégrant un mélange d’experts (Mixture of Experts, MoE), optimisant ainsi son efficacité et sa capacité de traitement. En novembre 2024, l’entreprise a introduit QwQ-32B-Preview, un modèle axé sur le raisonnement, similaire à l’o1 d’OpenAI. Ce modèle, bien que diffusé sous licence Apache 2.0, n’a vu que ses poids publiés, sans accès aux données d’entraînement. Avec une longueur de contexte de 32 000 tokens, il surpasse o1 sur certains benchmarks.

Outre ses modèles textuels, Alibaba a développé des versions spécialisées comme Qwen-VL, une série de modèles vision-langage combinant un transformeur visuel et un LLM. La version phare, Qwen-VL-Max, est commercialisée via Alibaba Cloud et facturée à 0,00041 dollar par millier de tokens d’entrée.

Alibaba a également enrichi son catalogue avec Qwen-Audio, dédié à la compréhension et à la génération audio, ainsi que Qwen2-Math, optimisé pour les applications mathématiques. En tout, l’entreprise a publié plus de 100 modèles en open source, totalisant plus de 40 millions de téléchargements.

L’une des versions récentes les plus remarquables est Qwen 2.5, qui améliore le raisonnement, la compréhension du code et le traitement du langage naturel. Ce modèle est décliné en plusieurs variantes, dont Qwen-2.5-Coder, spécialement conçu pour assister les développeurs dans la génération et l’analyse de code.

The burst of DeepSeek V3 has attracted attention from the whole AI community to large-scale MoE models. Concurrently, we have been building Qwen2.5-Max, a large MoE LLM pretrained on massive data and post-trained with curated SFT and RLHF recipes. It achieves competitive… pic.twitter.com/oHVl16vfje

— Qwen (@Alibaba_Qwen) January 28, 2025

Avec Qwen2.5-Max, Alibaba cherche à rivaliser avec les modèles de pointe du marché. Ce modèle MoE de grande échelle a été pré-entraîné sur d’énormes volumes de données et affiné via des méthodes avancées de post-entraînement, incluant le fine-tuning supervisé (SFT) et l’apprentissage par renforcement avec feedback humain (RLHF). Il surpasse notamment DeepSeek V3 sur des benchmarks tels que Arena Hard, LiveBench, LiveCodeBench et GPQA-Diamond.

L’approche open source d’Alibaba a favorisé l’adoption massive de ses modèles, avec plus de 90 000 déploiements d’entreprises via la plateforme Model Studio d’Alibaba Cloud. Certaines variantes personnalisées, comme "Liberated Qwen" développée par Abacus AI, illustrent l’intérêt des chercheurs et entreprises pour ces modèles.

L’avenir de Qwen s’annonce ambitieux, avec des investissements prévus dans l’extension du pré-entraînement et du RLHF. Alibaba affirme vouloir repousser les limites de l’IA, en explorant de nouvelles capacités et en poursuivant l’optimisation de ses modèles.