Anthropic a accordé à des évaluateurs externes un accès « comme un salarié » pour analyser les risques liés à ses modèles d'IA, tenant ainsi la promesse de renforcer ses garde-fous alors que grandit la crainte que des systèmes toujours plus capables ne finissent par échapper à tout contrôle.
L'organisation à but non lucratif METR, qui a déjà travaillé avec OpenAI, Anthropic, Google et Meta, dispose désormais d'une équipe installée dans les bureaux du créateur de Claude, avec accès à son matériel et à ses systèmes internes. L'entreprise a annoncé cette mesure jeudi.
Ce que METR obtient chez Anthropic
Anthropic a intégré six salariés de METR, en leur fournissant du matériel de l'entreprise, des locaux et un accès aux outils et systèmes internes à peu près équivalent à celui de ses propres équipes d'évaluation des risques. Les employés ont été encouragés à partager l'information avec les évaluateurs comme ils le feraient avec un collègue travaillant sur les risques.
Ce dispositif ne coûte rien à Anthropic, qui ne paie pas METR pour cet accès. METR n'accepte pas de dons d'entreprises d'IA ni de leurs salariés, et se finance auprès de particuliers, d'organisations philanthropiques et d'organismes publics comme l'AI Security Institute britannique.
Droit de publication et limites
METR peut publier son analyse, et Anthropic ne peut pas s'y opposer. L'entreprise peut toutefois exiger des caviardages pour certaines catégories, notamment les données clients, les éléments couverts par le secret professionnel de l'avocat ou les informations sur l'architecture des modèles.
« À mesure que les modèles gagnent en puissance, ils exigent des garde-fous plus solides et une évaluation des risques plus complexe », a déclaré Anthropic. « Nous voulons rendre des comptes publiquement sur nos décisions. Mais nous ne pouvons pas partager publiquement toutes les informations liées à notre travail sur la sécurité. »
