IA: Claude peut désormais contrôler un ordinateur

Selon Anthropic, la version 3.5 Sonnet de Claude permet désormais de contrôler un ordinateur en suivant les instructions d’un utilisateur, sans nécessiter d’outils spécialisés. Cette fonctionnalité, encore en phase bêta publique, offre à Claude la capacité de déplacer un curseur à l’écran, de cliquer sur des éléments spécifiques et de saisir du texte via un clavier virtuel, imitant ainsi les actions d’un utilisateur humain.

Cette avancée représente un pas important pour les assistants IA, qui sont souvent limités à des tâches spécifiques ou à des environnements conçus spécialement pour eux. En intégrant la possibilité d’utiliser directement les logiciels classiques sur un ordinateur, Claude pourrait révolutionner un large éventail d’applications professionnelles.

Qu’il s’agisse de traitement de texte, de calculs ou même de tâches plus complexes, la capacité de Claude à interpréter visuellement ce qui se passe à l’écran et à agir en conséquence ouvre de nouvelles perspectives pour l’IA.

— Anthropic (@AnthropicAI) October 22, 2024

Le développement de cette compétence s’appuie sur des recherches antérieures concernant l’utilisation d’outils et la multimodalité. Claude a été entraîné à comprendre les éléments visibles sur un écran d’ordinateur grâce à des captures d’écran, à compter les pixels pour positionner correctement le curseur, puis à effectuer des actions comme cliquer ou entrer du texte. Ces capacités permettent à l’IA de répondre à des instructions complexes en exécutant une série de tâches sur l’ordinateur, tout en s’ajustant et en se corrigeant si nécessaire.

Cependant, Anthropic a souligné que cette nouvelle fonctionnalité a nécessité de nombreux essais et ajustements avant d’atteindre un résultat satisfaisant. Claude a été formé à l’aide de logiciels simples comme une calculatrice ou un éditeur de texte. Ces étapes ont été importantes pour permettre à l’IA de généraliser ses compétences et d’interagir avec une gamme plus large de logiciels.

Il est à noter qu’à ce jour, Claude est capable d’obtenir un score de 14,9% sur un test spécifique intitulé OSWorld, conçu pour évaluer la capacité des modèles à utiliser un ordinateur. Bien que ce résultat soit inférieur aux compétences humaines, qui se situent entre 70 et 75%, il reste bien supérieur aux autres modèles d’IA dans cette catégorie.

Comme pour toute avancée en intelligence artificielle, l’introduction de cette capacité soulève des enjeux de sécurité. Claude doit être capable de reconnaître et de prévenir des actions non désirées, telles que les attaques par “injection de commande”, où des instructions malveillantes pourraient être intégrées à des contenus visuels afin de détourner le comportement de l’IA. Pour éviter de tels risques, Anthropic a mis en place des mesures de protection pour encadrer l’utilisation de Claude dans des environnements informatiques, en particulier lors d’interactions sensibles, comme celles liées aux élections.

Malgré ses capacités prometteuses, cette fonctionnalité reste en développement, avec certaines limitations, notamment dans la rapidité et la précision des actions. Il arrive que Claude manque des notifications éphémères à l’écran ou fasse des erreurs, comme lors d’une démonstration où il a accidentellement arrêté un enregistrement d’écran. Ces imperfections sont toutefois perçues comme des étapes transitoires dans un processus d’amélioration continue. Les chercheurs d’Anthropic indiquent qu'ils travaillent à rendre Claude plus fiable et efficace.