![\"\"](\"https:\/\/www.chargeur-batterie.com\/blog\/wp-content\/uploads\/2024\/11\/QwQ-32B-Preview.png\")
<\/figure>\n\n\n\nQu’est-ce que Qwen with Questions (QwQ) ?<\/h2>\n\n\n\n
Comme d’autres mod\u00e8les de raisonnement large (LRM), QwQ utilise des cycles de calcul suppl\u00e9mentaires pendant l’inf\u00e9rence pour examiner ses r\u00e9ponses et corriger ses erreurs, ce qui le rend plus adapt\u00e9 aux t\u00e2ches qui n\u00e9cessitent un raisonnement logique et une planification comme les math\u00e9matiques et le codage.<\/p>\n\n\n\n
Dans un article de blog, Alibaba a d\u00e9taill\u00e9 son nouveau LLM ax\u00e9 sur le raisonnement et a soulign\u00e9 ses capacit\u00e9s et ses limites. Le QwQ-32B, comme son nom l’indique, est construit sur 32 milliards de param\u00e8tres et dispose d’une fen\u00eatre contextuelle de 32 000 jetons. Le mod\u00e8le a termin\u00e9 les \u00e9tapes de pr\u00e9-formation et de post-formation. Le mod\u00e8le est actuellement en pr\u00e9version, ce qui signifie qu’une version plus performante est susceptible de suivre.<\/p>\n\n\n\n
En ce qui concerne son architecture, le g\u00e9ant chinois de la technologie a r\u00e9v\u00e9l\u00e9 que le mod\u00e8le d’IA est bas\u00e9 sur la technologie des transformateurs. Pour l’encodage positionnel, QwQ utilise les fonctions Rotary Position Embeddings (RoPE), ainsi que les fonctions Switched Gated Linear Unit (SwiGLU) et Root Mean Square Normalization (RMSNorm), ainsi que le biais Attention Query-Key-Value (Attention QKV).<\/p>\n\n\n\n
Selon les tests d’Alibaba, QwQ bat o1-preview sur les benchmarks AIME et MATH, qui \u00e9valuent les capacit\u00e9s de r\u00e9solution de probl\u00e8mes math\u00e9matiques. Il surpasse \u00e9galement o1-mini sur GPQA, un benchmark pour le raisonnement scientifique. QwQ est inf\u00e9rieur \u00e0 o1 sur les benchmarks de codage LiveCodeBench mais surpasse toujours d\u2019autres mod\u00e8les de pointe tels que GPT-4o et Claude 3.5 Sonnet.<\/p>\n\n\n\n
QwQ n\u2019est pas accompagn\u00e9 d\u2019un document d\u2019accompagnement d\u00e9crivant les donn\u00e9es ou le processus utilis\u00e9 pour entra\u00eener le mod\u00e8le, ce qui rend difficile la reproduction des r\u00e9sultats du mod\u00e8le. Cependant, comme le mod\u00e8le est ouvert, contrairement \u00e0 OpenAI o1, son \u00ab processus de r\u00e9flexion \u00bb n\u2019est pas cach\u00e9 et peut \u00eatre utilis\u00e9 pour comprendre la fa\u00e7on dont le mod\u00e8le raisonne lors de la r\u00e9solution de probl\u00e8mes.<\/p>\n\n\n\n
Notamment, Alibaba a mis le mod\u00e8le d\u2019IA \u00e0 disposition via une liste Hugging Face et les particuliers comme les entreprises peuvent le t\u00e9l\u00e9charger \u00e0 des fins personnelles, acad\u00e9miques et commerciales sous la licence Apache 2.0.<\/p>\n","protected":false},"excerpt":{"rendered":"