Phi-3.5-MoE de Microsoft rivalise avec Gemini 1.5 Flash, désormais accessible dans Azure AI Studio et GitHub

Le mois dernier, Microsoft a dévoilé la famille de modèles d’IA légers Phi-3.5, qui intègre de nombreuses améliorations. Parmi celles-ci, la plus remarquable est la Phi-3.5-MoE, qui est le premier modèle de la série Phi à intégrer la technologie Mixture of Experts (MoE).

Microsoft a annoncé que le modèle Phi-3.5-MoE est désormais disponible dans Azure AI Studio et GitHub via une API sans serveur. Cette fonctionnalité permet aux développeurs d’intégrer de manière transparente le modèle Phi-3.5-MoE dans leurs flux de travail et leurs applications sans avoir à gérer une infrastructure sous-jacente.

Le modèle Phi-3.5-MoE, ainsi que d’autres modèles Phi-3.5, sont accessibles dans plusieurs régions, notamment East US 2, East US, North Central US, South Central US, West US 3, West US et Sweden Central. En tant qu’offre sans serveur, les développeurs bénéficient d’une structure de tarification à l’utilisation, fixée à 0,00013 USD pour 1 000 jetons d’entrée et à 0,00052 USD pour 1 000 jetons de sortie.

Dans divers tests d’IA, le Phi-3.5-MoE a démontré des performances supérieures à celles de presque tous les autres modèles ouverts de sa catégorie, tels que Llama-3.1 8B, Gemma-2-9B et Mistral-Nemo-12B, en utilisant notamment moins de paramètres actifs. Microsoft affirme que ses performances rivalisent, voire dépassent légèrement, celles du Gemini-1.5-Flash de Google, l’un des principaux modèles à code source fermé dans ce domaine.

Le modèle MoE comprend un total de 42 milliards de paramètres, dont seulement 6,6 milliards sont activés, pris en charge par 16 experts. L’équipe de Microsoft Research a conçu ce modèle de A à Z pour améliorer les performances, augmenter les capacités multilingues et renforcer les protocoles de sécurité. De plus, plutôt que de s’appuyer sur des techniques de formation conventionnelles, l’équipe Microsoft Phi a mis au point une nouvelle méthode de formation connue sous le nom de GRIN (GRadient INformed) MoE. Cette approche a permis d’améliorer considérablement l’utilisation des paramètres et la spécialisation des experts, ce qui a permis d’obtenir des résultats de qualité nettement supérieurs par rapport aux modalités de formation traditionnelles.

Avec ses performances exceptionnelles et son accessibilité, le Phi-3.5-MoE est destiné à donner plus de pouvoir aux développeurs et à stimuler l’innovation au sein de l’écosystème de l’IA. Son modèle sans serveur et sa tarification basée sur la consommation éliminent encore davantage les barrières à l’entrée, permettant à un plus grand nombre de développeurs d’accéder à des fonctionnalités d’IA avancées que jamais auparavant.

Source : Microsoft

Source