Microsoft Research a publié l’Orca 2 LLM, qui peut égaler les performances de modèles plus grands

Microsoft s’est peut-être associé à OpenAI et à ses grands modèles de langage GPT pour aider à créer des services d’IA génératifs tels que Copilot (anciennement connu sous le nom de Bing Chat) . Cependant, la société travaille également sur ses propres LM. Cette semaine, Microsoft Research a annoncé la sortie d’Orca 2, une deuxième version de son langage Orca

Dans un article de blog, Microsoft a déclaré qu’Orca 2 a été conçu spécifiquement pour être un LM plus petit, mais qu’il peut toujours être utilisé pour répondre à des problèmes complexes. des questions comme les LLM. Orca 2 est disponible en deux tailles (7 milliards et 13 milliards de paramètres) et elles ont été réalisées en partie en en utilisant le Llama 2 LLM avec lequel il a contribué au lancement. Meta plus tôt cette année. L’entreprise a peaufiné le modèle basé sur Llama 2 « sur la base de données synthétiques personnalisées et de haute qualité ».

Microsoft a déclaré que cela permettait aux modèles Orca 2 de gérer des problèmes qui correspondaient aux performances d’autres modèles linguistiques « 5 à 10 fois plus grands ».

Orca 2 est entraîné avec un ensemble de données synthétiques étendu et hautement personnalisé. Les données d’entraînement ont été générées de telle sorte qu’elles enseignent à Orca 2 diverses techniques de raisonnement, telles que le traitement étape par étape, le rappel puis la génération, le rappel-raison-générer, l’extraction-génération et les méthodes de réponse directe, tout en lui apprenant à choisir différentes méthodes. stratégies de solution pour différentes tâches.

Les modèles Orca 2 ont été confrontés à un certain nombre de modèles de langage plus vastes comme Llama 2 et WizardLM avec une série de tests couvrant des sujets tels que « la compréhension du langage, le raisonnement de bon sens, le raisonnement en plusieurs étapes, la résolution de problèmes mathématiques, la compréhension en lecture » et plus. Le blog déclarait :

Nos résultats préliminaires indiquent que les performances d’Orca 2 dépassent largement celles des modèles de taille similaire. Il atteint également des niveaux de performances similaires ou supérieurs à ceux de modèles au moins 10 fois plus grands, démontrant la possibilité d’équiper des modèles plus petits de meilleures capacités de raisonnement.

Bien que Microsoft ait admis qu’Orca 2 avait des limites, les tests effectués jusqu’à présent montrent « un potentiel d’avancées futures ». Microsoft publie Orca 2 en tant que projet open source afin que d’autres puissent également travailler dessus.