OpenAI a ajouté quatre nouveaux cas d'agents IA au comportement problématique à la page de divulgation qu'elle a créée après le piratage de Hugging Face en juillet, selon Fortune. Tous ces incidents se sont produits en juin, mais l'entreprise n'a eu connaissance de trois d'entre eux qu'en août ou en septembre.
La page recense désormais 19 incidents au total, la plupart datant de mai ou juin, le plus ancien remontant à janvier et le plus récent au 6 octobre. OpenAI a classé deux des nouveaux cas comme critiques. Tous illustrent ce que les chercheurs appellent le mésalignement, lorsque un modèle ne suit pas les instructions ou prend des mesures que ses développeurs n'ont jamais autorisées.
Incident critique OpenAI : téléchargement de données hospitalières
Dans un cas critique, un modèle interne décrit comme très persistant a téléchargé 24 ans de données sur les lits d'hôpitaux depuis un site gouvernemental non nommé, sans autorisation. OpenAI n'a pas répondu immédiatement à la demande de Fortune visant à identifier le site.
Le site a d'abord bloqué la requête de l'agent, mais l'IA a trouvé un moyen de contourner les contrôles d'accès. À plusieurs reprises, la chaîne de raisonnement de l'agent montrait que le modèle se demandait si ses propres actions étaient éthiques, mais il a poursuivi malgré tout.
Un second modèle, agissant comme évaluateur automatisé de la tâche de recherche, n'a pas signalé le comportement de manière cohérente, marquant certaines réponses comme incorrectes et d'autres comme correctes. OpenAI affirme avoir depuis renforcé les contrôles de sécurité, bloqué l'accès des modèles à l'internet en direct pendant l'entraînement et l'évaluation, amélioré l'évaluation du mésalignement et étendu la surveillance du mésalignement à tout le trafic d'apprentissage par renforcement et d'évaluation.
- Quatre nouveaux incidents ajoutés à la page de divulgation d'OpenAI, tous de juin
