Intel fait de sa bibliothèque d’accélération NPU un actif open source, permettant aux développeurs d’optimiser les applications d’IA

Intel a enfin « open source » sa bibliothèque d’accélération NPU, permettant aux développeurs et aux passionnés d’ajuster leurs applications pour qu’elles fonctionnent au mieux avec les moteurs d’IA d’Intel.

L’Open Source d’Intel pour les bibliothèques NPU révèle que les moteurs d’IA dédiés ont un grand avenir devant eux

La nouvelle vient de Tony Mongkolsmai, évangéliste technologique d’Intel, qui a dévoilé en premier lieu la nouvelle bibliothèque open source de l’entreprise.

Avec cette étape, la bibliothèque d’accélération NPU aidera les développeurs à bénéficier des NPU existants dans les gammes de processeurs telles que la série Meteor Lake « Core Ultra » . Il est basé sur Python et simplifie le développement en fournissant une interface de haut niveau et prend en charge des frameworks populaires tels que TensorFlow et PyTorch, donnant aux développeurs le pouvoir d’exploiter les capacités de la bibliothèque pour rendre les tâches liées à l’IA plus efficaces.

Pour les développeurs qui l’ont demandé, consultez la nouvelle bibliothèque open source Intel NPU Acceleration. Je viens de l’essayer sur ma machine MSI Prestige 16 AI Evo (Windows cette fois, mais la bibliothèque prend également en charge Linux) et en suivant la documentation GitHub, j’ai pu exécuter TinyLlama… pic.twitter.com/UPMujuKGGT

– Tony Mongkolsmai (@tonymongkolsmai) 1er mars 2024

Tony exécutait la bibliothèque d’accélération NPU sur un ordinateur portable MSI Prestige 16 AI Evo, doté des processeurs Intel Core Ultra. Il a pu exécuter les modèles TinyLlama et Gemma-2b-it LLM sur la machine sans interruption des performances, ce qui indique le potentiel des NPU d’Intel et la manière dont ils favorisent un environnement d’IA de pointe pour les développeurs. Voici comment l’équipe de développement Intel elle-même décrit la bibliothèque :

La bibliothèque d’accélération Intel NPU est une bibliothèque Python conçue pour améliorer l’efficacité de vos applications en exploitant la puissance de l’unité de traitement neuronal Intel (NPU) pour effectuer des calculs à grande vitesse sur du matériel compatible.

Dans notre quête pour améliorer considérablement les performances de la bibliothèque, nous concentrons nos efforts sur la mise en œuvre d’une gamme de fonctionnalités clés, notamment :

• quantification 8 bits
• Quantification 4 bits et GPTQ
• Inférence de précision mixte NPU-Native
• Prise en charge de Float16
• BFloat16 (Format à virgule flottante cérébrale)
• torch.compilesoutien
• Implémentation de la fusion horizontale LLM MLP
• Inférence de forme statique
• Inférence MHA NPU
• Hétérocalcul NPU/GPU
• Papier

via Github Intel

C’est formidable de voir l’open source de la bibliothèque d’accélération NPU, car cela conduirait à terme à une mise en œuvre améliorée des applications d’IA fonctionnant sur les moteurs d’IA dédiés d’Intel. Il sera intéressant de voir quel genre de développements nous verrons sur de tels moteurs, car, comme l’a déclaré Tony lui-même, il y a beaucoup de choses à faire pour les consommateurs et les développeurs.

Source d’information : Tony Mongkolsmai