Copilot Vision de Microsoft analyse votre écran pour une assistance IA améliorée

Aujourd’hui, Microsoft a présenté une fonctionnalité innovante appelée Copilot Vision dans le cadre de ses nouveaux Copilot Labs . Cette initiative permet à Microsoft de tester de nouvelles fonctionnalités d’IA avec un groupe limité d’utilisateurs afin de recueillir des commentaires précieux et d’améliorer les fonctionnalités. Copilot Vision ressemble aux fonctionnalités vidéo présentées par OpenAI plus tôt cette année , offrant aux utilisateurs une assistance en temps réel adaptée au contenu affiché sur leurs écrans.

Actuellement, Copilot Vision est exclusivement disponible dans Microsoft Edge . Une fois activé, les utilisateurs visitant les sites Web pris en charge peuvent interagir avec Copilot en posant des questions liées au contenu de la page en temps réel. La fonctionnalité permet non seulement de répondre aux questions, mais peut également suggérer des actions ultérieures pour vous aider dans les tâches en cours. La possibilité de formuler vos questions naturellement, plutôt que de les saisir, vous donne l’impression qu’un expert est assis à côté de vous et vous propose de l’aide pendant que vous naviguez.

Microsoft a conçu Copilot Vision en mettant l’accent sur la confidentialité . Cette fonctionnalité fonctionne sur une base entièrement opt-in, ce qui signifie qu’elle n’est activée que lorsque les utilisateurs l’acceptent spécifiquement. Il est important de noter que Microsoft garantit aux utilisateurs qu’aucune donnée (y compris les fichiers audio, les images, le texte ou les conversations de Copilot Vision ) n’est stockée ou utilisée pour la formation du modèle. Une fois votre session Vision terminée, toutes les données associées sont définitivement effacées.

De plus, Copilot Vision n’est pas applicable sur les sites Web qui comportent des paywalls ou du contenu sensible. Au cours de cette phase préliminaire, Microsoft a limité Copilot Vision à une liste restreinte de sites Web pré-approuvés, avec l’intention d’élargir sa disponibilité à l’avenir, en donnant toujours la priorité à la sécurité et à la responsabilité des utilisateurs.

Il est essentiel de préciser que Copilot Vision n’agit pas en tant qu’agent ; il ne peut pas effectuer d’actions en votre nom. Au lieu de cela, il fonctionne comme un compagnon utile, répondant à vos questions tout au long de votre parcours de navigation.

Copilot Vision est désormais déployé auprès d’un groupe restreint d’ utilisateurs de Copilot Pro aux États-Unis. Cette fonctionnalité a le potentiel de transformer notre façon d’interagir avec le Web, en créant une expérience de navigation plus intuitive et plus conviviale. À mesure que Microsoft développe et étend cette fonctionnalité révolutionnaire, nous pouvons anticiper une expérience Copilot encore plus efficace dans un avenir proche.

Source