Inworld AI NPC GDC 2024 Hands-on – NVIDIA et Ubisoft montrent un aperçu de l’avenir

Les progrès des réseaux de neurones au cours des dernières années ont été significatifs, à commencer par le développement initial des transformateurs génératifs pré-entraînés. Avec l’amélioration continue des cartes graphiques et des Tensor Cores de NVIDIA, les capacités de ces réseaux ont considérablement augmenté. Dans le passé, ces réseaux étaient principalement utilisés pour les entrées textuelles, mais NVIDIA a désormais intégré TensorRT pour l’apprentissage en profondeur et le traitement audio. Au cours de deux démonstrations interactives de la technologie Inworld AI à la GDC 2024, nous avons pu tester les capacités des NPC NEO d’Ubisoft et du protocole secret de NVIDIA.

Demandez à n’importe quel DM qui a dirigé une session de Donjons & Dragons à laquelle j’ai participé au cours des dix dernières années : l’aspect le plus agréable est de repousser les limites de la campagne (et de sa propre boussole morale). Dans les deux démos, j’ai eu le contrôle total de l’expérience grâce à des commandes vocales, tandis que mon gestionnaire observait depuis les coulisses, prenant éventuellement des notes ou envisageant de mettre fin à la session. Au moment où j’ai pu essayer le programme NEO NPC d’Ubisoft, j’avais déjà consommé ma deuxième tasse de café avant 10h00 et je débordais d’idées classées PG-13.

Au cours de mon expérience pratique avec la démonstration Inworld d’Ubisoft Paris, j’ai eu l’occasion de tester la puissante combinaison du moteur de personnages AI d’Inworld et des animations faciales automatiques Audio2Face de NVIDIA. Le concept « d’authenticité » a été souligné à plusieurs reprises au cours de ma séance, et j’ai trouvé qu’il était pour l’essentiel exact. Les développeurs avaient pris soin de maintenir l’illusion d’être recruté par un citadin portant un bonnet nommé Bloom dans « la résistance » grâce à leur utilisation de garde-corps.

Ubisoft a utilisé une liste contextuelle pour intégrer la gamification dans l’expérience Inworld AI. Cette liste recommandait diverses activités, telles que l’apprentissage des mégacorps et de la résistance, à entreprendre à un niveau holistique. Malgré mes tentatives pour orienter la conversation ailleurs, Bloom évoquait constamment ces barrières invisibles et faisait des remarques pleines d’esprit sur mes demandes avant de rediriger l’attention vers la résistance. Mes actions, ou plutôt mes paroles, ont suscité une réponse persistante tout au long de la manifestation. Lorsque j’ai mentionné mes capacités uniques en tant que barista et passionné de cryptographie, préférant m’appeler Poncho plutôt que Nelson, Bloom était heureux d’obliger et nous avons échangé des anecdotes avant de conclure avec mon objectif ultime de mieux comprendre le but de la démo.

La deuxième partie de la démo s’est transformée en une séance de brainstorming ouverte avec Iron, une femme éminente de la résistance qui semblait détenir un rang plus élevé que Bloom. Mon objectif cette fois était d’élaborer une stratégie pour infiltrer un coffre-fort. Alors que je parcourais la salle de briefing virtuelle avec une manette en main, Ubisoft m’a présenté des listes et des mots-clés pour susciter la discussion et encourager la collaboration avec Iron pour trouver une solution pour un cambriolage discret après le brunch.

Même si je disposais de tous les outils nécessaires, j’ai cherché à les assembler de manière moins conventionnelle. Même si une échelle était une option pratique pour accéder à un immeuble au deuxième étage, je me suis mis au défi de sortir des sentiers battus et de l’utiliser pour atteindre une caméra de sécurité dans le couloir. En accrochant une photo Polaroid du couloir surveillé, j’ai pu tromper l’appareil photo et entrer. Abattre le garde qui bloquait mon passage du balcon d’entrée au bureau était une tâche facilement accomplie par n’importe quel joueur de Metal Gear Solid, mais transmettre mon plan par des commandes vocales s’est avéré être un défi. Mes tentatives pour convaincre Iron de charger un grappin dans un fusil de chasse ou de recourir à la tactique galvaudée consistant à se faufiler dans une boîte en carton ont été vaines. J’étais déterminé à

La démo Covert Protocol présentée par NVIDIA était une expérience plus non structurée, dans le but de découvrir le numéro de chambre d’une personne d’intérêt séjournant dans un luxueux hôtel cinq étoiles. Mon histoire de couverture choisie était celle d’un coursier transportant des marchandises illicites qui nécessitaient une signature directe pour être libérées. J’ai trouvé le premier personnage non jouable que j’ai rencontré, un chasseur, beaucoup plus réceptif à mes suggestions que Bloom et Iron. Même si nos conversations étaient pour la plupart réactionnaires, il semblait ouvert à l’idée d’un massage des pieds ou d’une sortie au karaoké une fois ma mission terminée. Malgré mes tentatives, je n’ai pas réussi à convaincre l’IA de chanter des morceaux sur place, mais il a mentionné que sa chanson de karaoké préférée était

Les deux autres PNJ IA n’étaient pas aussi flexibles dans leurs réponses et ne semblaient pas intéressés à interagir avec quelqu’un en dehors de l’histoire. Cependant, tout a changé lorsque je suis tombé sur un badge de travail sur le côté. Une fois que je l’ai obtenu, les deux personnalités de l’IA sont devenues plus réceptives à mes demandes et ont fourni des informations précieuses liées à mon objectif. Ce changement soudain de comportement était un peu choquant et enlevait l’expérience immersive. Même si je comprends la nécessité d’objectifs dans le gameplay, cela me semblait restrictif d’être contraint à des tâches spécifiques au lieu d’avoir la liberté de jouer un rôle et de faire des choix.

Malgré l’apparente absurdité de mes demandes, tant que je maintenais mes demandes dans les limites du PG-13 et évitais tout ce qui était vraiment obscène, les modèles de langage étaient plus que disposés à s’y conformer et répondaient souvent par des remarques intelligentes et stimulantes. La qualité globale de l’expérience avec ces personnages et modèles de langage dépend en fin de compte de la formation qu’ils reçoivent et de la puissance de traitement nécessaire pour interpréter les requêtes non conventionnelles. Ubisoft et NVIDIA ont démontré leurs approches uniques pour créer des conversations réalistes avec les joueurs tout en maintenant les limites, ce qui pourrait s’avérer bénéfique pour l’intégration future des jeux. Il reste à voir si ces outils seront implémentés avant la fin de la génération actuelle de consoles, mais mon scepticisme initial a été remplacé par de la curiosité et de l’enthousiasme pour le potentiel des PNJ alimentés par l’IA.