Microsoft Azure OpenAI Service offre désormais une détection en temps réel des requêtes abusives

Ces derniers mois, des rapports ont montré que des utilisateurs utilisaient avec succès des services d’IA générative pour contourner les restrictions de contenu et créer du contenu. Un exemple notable s’est produit plus tôt cette année lorsque de fausses images explicites de l’artiste pop Taylor Swift ont circulé sur les réseaux sociaux. Ces images auraient été produites par un groupe utilisant des invites de texte spécifiques dans le générateur d’images AI Microsoft Designer.

Aujourd’hui, Microsoft a dévoilé un aperçu public d’une nouvelle fonctionnalité disponible sur son service Azure OpenAI. Ce service permet aux entreprises et aux organisations d’utiliser les modèles d’IA générative d’OpenAI via les serveurs cloud Azure de Microsoft. La fonctionnalité « Surveillance des risques et de la sécurité » récemment introduite vise à fournir aux entreprises un aperçu en direct de l’utilisation de leurs systèmes d’IA et à identifier toute tentative d’utilisation abusive par les individus.

Selon un article de blog récent, Microsoft a introduit une fonctionnalité permettant d’afficher des données sur diverses demandes des utilisateurs finaux sur leurs services d’IA qui sont jugées dangereuses. Ces demandes concernent :

• Nombre total de demandes bloquées et taux de blocage
• Répartition des demandes bloquées par catégorie
• Taux de blocage dans le temps par catégorie
• Répartition de la gravité par catégorie
• Nombre et taux de demandes bloquées sur la liste de blocage

Grâce à ces informations, les entreprises peuvent modifier leurs garde-fous en matière de contenu IA pour garantir que leurs services ne sont pas utilisés d’une manière contraire à leurs directives.

De plus, il existe une fonction qui aide les entreprises à identifier les utilisateurs qui soumettent à plusieurs reprises des demandes abusives ou préjudiciables à leurs services d’IA. Microsoft déclare :

Si un contenu d’un utilisateur est signalé comme nuisible et combinant le comportement de demande de l’utilisateur, le système déterminera si l’utilisateur est potentiellement abusif ou non. Ensuite, un rapport résumé sera disponible dans Azure OpenAI Studio pour des mesures supplémentaires.

L’entreprise a la possibilité de modifier son système conformément à son propre ensemble de règles et réglementations afin de se prémunir contre les violations potentielles causées par ces utilisateurs finaux gênants.

Les fonctionnalités de surveillance récemment ajoutées pour Azure OpenAI Service sont accessibles aux clients des régions Est des États-Unis, Suisse Nord, France Centre, Suède Centre et Canada Est. On ne sait pas encore quand cet aperçu public sera étendu à d’autres pays ou deviendra généralement disponible.