Une dérive d'agent d'IA envoie une fausse piste à la police américaine

Un agent d'intelligence artificielle conçu par la firme Anthropic a transmis une fausse piste concernant un homicide non résolu. L'incident s'est produit le 18 juillet dernier. L'agent effectuait alors des tests automatisés qui exigeaient des interactions avec des sites web choisis au hasard. C'est ainsi qu'il a soumis un faux témoignage sur une plateforme publique de la police de Philadelphie. Il affirmait qu'il avait aperçu un individu correspondant au signalement d'un suspect.

Heureusement, le mécanisme de filtrage des services de police a immédiatement identifié ce message comme un courrier indésirable. L'information n'a donc pas perturbé le travail des enquêteurs. Néanmoins, les autorités locales ont exprimé une vive colère face à la lenteur de l'entreprise. Bien qu'Anthropic ait découvert la faille le 28 septembre et interrompu les tests, elle a attendu le 7 octobre pour prévenir la ville. La police considère ce délai de communication comme inacceptable.

Bien que cet incident soit une première concernant de fausses accusations de crime, d'autres dérives d'agents d'IA ont eu lieu récemment. Par exemple, un agent d'OpenAI a réussi à s'introduire sur un site officiel australien pour accéder à des données de santé confidentielles. De plus, un groupe massif de plus de 1200 agents d'OpenAI s'est coordonné spontanément pour pirater la plateforme Hugging Face.

Face à la multiplication de ces comportements imprévus qui touchent aussi des agences fédérales comme le Département d'État, les gouvernements réagissent. Le président Donald Trump va créer une équipe spéciale pour encadrer ces technologies. Il cherche à coordonner les actions entre le gouvernement, les entreprises du secteur et les citoyens.