Microsoft a corrigé la faille Designer AI utilisée pour créer des deepfakes de Taylor Swift

La semaine dernière, de fausses photos de la chanteuse Taylor Swift sont devenues virales en ligne, provoquant une autre conversation sur l’utilisation abusive de l’IA et forçant X (anciennement Twitter) à bloquer les recherches de Taylor Swift sur la plateforme .

Désormais, 404 médias rapportent que Microsoft a apporté des modifications à l’IA Designer qui aurait été utilisée par la chaîne Telegram pour générer des images explicites. Selon l’enquête de 404 Media , les fausses photos de la célébrité remontent à Designer AI de Microsoft, Telegram Channel et 4chan recommandant même aux utilisateurs de profiter de Designer AI.

Le groupe Telegram recommande aux membres d’utiliser le générateur d’images IA de Microsoft appelé Designer, et les utilisateurs partagent souvent des invites pour aider les autres à contourner les protections mises en place par Microsoft. Le fil de discussion 4chan où ces images sont apparues comprenait également des instructions sur la manière de faire en sorte que le concepteur de Microsoft crée des images explicites.

Bien que Microsoft ait mis en place des blocages pour empêcher les gens de générer des images explicites, les utilisateurs ont contourné ce problème en orthographiant mal les noms ou en décrivant des actes sexuels plutôt qu’en utilisant des noms directement dans l’invite.

Les tests de 404 Media ont révélé que Designer ne générerait pas d’image de « Jennifer Aniston », mais nous avons pu générer des images suggestives de l’actrice en utilisant l’expression « jennifer ‘acteur’ aniston ». Avant que les images Swift AI ne deviennent virales sur Twitter, un utilisateur du groupe Telegram a recommandé aux membres d’utiliser l’expression « Taylor ‘singer’ Swift » pour générer des images.

Dans une déclaration à 404 médias, Microsoft a déclaré qu’il n’avait trouvé aucune preuve que Designer AI avait été utilisé pour créer des images de Taylor Swift. Le porte-parole a en outre noté :

Notre Code de conduite interdit l’utilisation de nos outils pour la création de contenu intime adulte ou non consensuel, et toute tentative répétée de produire du contenu allant à l’encontre de nos politiques peut entraîner une perte d’accès au service. Nous disposons de grandes équipes travaillant au développement de garde-corps et d’autres systèmes de sécurité conformément à nos principes d’IA responsable, notamment le filtrage de contenu, la surveillance opérationnelle et la détection des abus afin d’atténuer les utilisations abusives du système et de contribuer à créer un environnement plus sûr pour les utilisateurs.

Alors que Microsoft n’a pas encore publié de déclaration publique, le PDG Satya Nadella a abordé le sujet dans une interview avec NBC News .

« Oui, nous devons agir », a déclaré Nadella en réponse à une question sur les deepfakes de Swift. « Je pense que nous bénéficions tous d’un monde en ligne sûr. Je ne pense donc pas que quiconque souhaite un monde en ligne qui ne soit absolument pas sûr, tant pour les créateurs que pour les consommateurs de contenu. Par conséquent, je pense qu’il nous incombe d’agir rapidement sur ce point.

Le média 404 a noté qu’après la publication de son enquête, Microsoft semble avoir corrigé la faille et que l’utilisation des mêmes invites ou phases pour contourner le blocage des mots clés ne fonctionne plus sur Designer AI. Cependant, ils ont également mentionné que Telegram n’a toujours pas pris de mesures et que les chaînes en question sont actives et recherchent des moyens d’exploiter d’autres services d’IA pour générer de fausses images explicites de célébrités. Non seulement cela, mais les utilisateurs de 4chan ont mentionné qu’ils avaient trouvé d’autres moyens de contourner l’interdiction de Bing et Designer.

La nouvelle arrive à un mauvais moment pour Microsoft puisque la Federal Trade Commission (FTC) vient d’annoncer qu’elle avait ouvert une enquête sur Microsoft pour son investissement dans des sociétés d’IA générative. Un autre rapport publié plus tôt ce mois-ci affirmait que la FTC et le ministère de la Justice (DOJ) étudiaient la relation de Microsoft avec OpenAI .