La dernière IA d’Alibaba bat GPT-3.5 et Claude dans plusieurs tests de référence

Il ne s’agit pas d’un conseil en investissement. L’auteur n’a aucune position dans aucun des titres mentionnés.

Alors que 2024 marque un bon début pour la course mondiale à l’intelligence artificielle, le géant chinois de la technologie Alibaba Group a également annoncé la dernière itération de son modèle d’intelligence artificielle Qwen. Outre ChatGPT d’OpenAI, qui est le chatbot IA le plus connu au monde, d’autres modèles tels que Llama de Meta et Claude d’Anthropic, partenaire d’Amazon, constituent plusieurs options dont disposent les consommateurs et les entreprises lorsqu’ils choisissent une plateforme d’IA adaptée à leurs besoins.

La dernière itération Qwen d’Alibaba est Qwen 1.5, et selon les benchmarks partagés sur la plateforme de médias sociaux X, le modèle bat à la fois ChatGPT et Claude dans certains scores de référence.

Qwen 1.5 d’Alibaba bat Claude et ChatGPT sur plusieurs critères testant la fluidité pédagogique

Tout comme les systèmes d’exploitation qui fonctionnent sur des ordinateurs ou des smartphones, un modèle d’intelligence artificielle est également un logiciel. Cela permet aux ingénieurs logiciels et aux analystes d’évaluer ses performances, et en ce qui concerne le dernier Qwen 1.5 d’Alibaba, certains scores montrent qu’il surpasse Claude d’Anthropic et ChatGPT d’OpenAI.

Les benchmarks qui testent les systèmes d’exploitation évaluent leur capacité à traiter des instructions et à exécuter des applications, et ceux des modèles d’intelligence artificielle tournent généralement autour de ceux-ci testant la capacité des modèles à générer des résultats.

Deux de ces benchmarks sont MT-bench et Alapaca-Eval, et les scores partagés sur X montrent qu’une variante de Qwen 1.5 d’Alibaba a surpassé ChatGPT et Claude. MT-bench teste la capacité d’un modèle à répondre à un ensemble de questions prédéfinies qui cherchent non seulement à le différencier du chatbot, mais tentent également de déterminer si le modèle peut « tenir bon » dans un environnement conversationnel difficile impliquant deux parties qui s’engagent rapidement. avec l’un l’autre.

Les scores de référence montrent que Qwen était le quatrième meilleur score du MT-bench, et il n’était qu’à la traîne de GPT-4 Turbo et des deux premières versions de GPT-4, à savoir les versions 0613 et 0314.

Alibaba lance Qwen 1.5

démo : https://t.co/goMcWMsIzT

le plus grand Qwen1.5-72B-Chat open source, présente des performances supérieures, surpassant Claude-2.1, GPT-3.5-Turbo-0613, à la fois sur MT-Bench et Alpaca-Eval v2 pic.twitter.com/50dNuUpEBx

– AK (@_akhaliq) 5 février 2024

Alapaca-Eval est une référence qui utilise un modèle de référence pour émuler les interactions humaines et déterminer dans quelle mesure un modèle d’IA testé fournit des résultats conformes à la référence. Il fournit également aux utilisateurs un classement pour suivre leurs tests, et les benchmarks d’aujourd’hui montrent que les performances Alapaca-Eval de Qwen 1.5 sont à la traîne par rapport au GPT-4 Turbo et au Yi-34B de HuggingFace, basé à New York.

Qwen1.5 est l’un des plus grands modèles open source de ce type, et il s’appuie sur les énormes ressources informatiques d’Alibaba. Une IA open source, comme un logiciel open source, met son code à disposition des utilisateurs et des développeurs afin qu’ils puissent comprendre le modèle et réaliser leurs propres variantes. Meta’s Llama, également présent dans les partitions d’aujourd’hui, est également un modèle open source.

Le début de 2024 a été marqué par une attention particulière de la part de Wall Street et des entreprises sur les résultats de l’IA. Les rapports sur les bénéfices des géants de la technologie à grande capitalisation tels que Meta, Microsoft et Alphabet se sont tous concentrés sur l’IA. Le chef de Meta, Mark Zuckerberg, vise à acheter des centaines de milliers de GPU cette année pour alimenter up Llama, et lors de la conférence téléphonique sur les résultats de l’entreprise, le dirigeant a expliqué que sa décision de renforcer la capacité informatique de Meta faisait suite à des oublis antérieurs qui avaient conduit l’entreprise à une sous-capacité.

De même, les bénéfices des fabricants et concepteurs de puces TSMC et AMD ont également vu leurs dirigeants exprimer leur optimisme quant à l’avenir de l’IA. La direction de TSMC est convaincue que l’entreprise dispose d’une base stable pour répondre à toute demande en IA, tandis qu’AMD est d’avis que l’IA peut finir par vaudra des centaines de milliards de dollars d’ici la fin de la décennie.