Des chercheurs israéliens ont exposé une campagne qui empoisonne les réponses de l'IA et dirige vers des centres d'assistance contrefaits

Des chercheurs en cybersécurité israéliens ont exposé une campagne généralisée d'empoisonnement de l'intelligence artificielle, qui pousse les réponses de ChatGPT, Gemini et Google AI Overview vers les numéros de service client, adresses e-mail et pages de connexion contrefaits chez les clients de 374 marques et entreprises, dont des banques, des compagnies aériennes et des plates-formes de voyage.

Selon la recherche, il s'agit d'attaques visant à diriger les utilisateurs qui se tournent vers les moteurs d'intelligence artificielle vers des numéros de téléphone, des adresses e-mail, des pages de connexion et des mises à jour de logiciels contrefaits. Dan Lasker, chercheur en vulnérabilités de cybersécurité et coauteur de la recherche, a déclaré que quand un numéro de téléphone leur est présenté comme un fait direct provenant du moteur d'IA et se répète dans plusieurs sources, il est perçu comme totalement fiable. Selon lui, les entreprises investissent des milliards dans la protection de leurs serveurs contre les violations, mais ce phénomène prouve que ce n'est plus suffisant.

La recherche a été menée par Dan Lasker, Ariel Simon et Naor Haziz, anciens éléments d'unités de renseignement classifiées vivant actuellement à New York, et l'examen s'est concentré sur les requêtes en anglais. Selon les informations, les attaquants inondent le réseau de messages, de fichiers PDF, de sites Web, d'images et d'avis contrefaits écrits de manière à ce que les moteurs d'intelligence artificielle soient enclins à les citer, et ils construisent le contenu autour de scénarios de stress tels que l'annulation de vol, le remboursement ou le compte bancaire bloqué, pour amener l'utilisateur à appeler le numéro contrefait au lieu de vérifier sur le site officiel. Selon des données de Exploding Topics citées dans la recherche, 92% des utilisateurs ne vérifient pas du tout les réponses reçues des moteurs d'IA.

Les chercheurs ont développé un système qui a examiné les réponses de Gemini, ChatGPT et Google AI Overview et les sources sur lesquelles elles reposent, et a marqué comme cas d'attaque une situation où une fausse information telle qu'un numéro de téléphone, une URL ou une adresse e-mail apparaissait dans la réponse d'IA et s'appuyait sur une source qui semblait destinée à pousser la désinformation. Selon les informations, des dizaines de milliers de pages malveillantes ont été trouvées, et la plupart des résultats étaient statistiques et n'ont pas été reproduits à chaque exécution de la même requête. Parmi les entreprises touchées selon la recherche: Delta, Lufthansa, United Airlines, Emirates, Qatar Airways, American Airlines, Airbnb, TripAdvisor, Chase, Citi, Wells Fargo et Bank of America.

Selon les informations, les publications malveillantes ont été intégrées sur Instagram, Tumblr, BuzzFeed, LeetCode, descriptions de vidéos sur YouTube et Vimeo, Medium, sites gouvernementaux, universités, Google Sites, GitHub Pages, WordPress, Blogspot, sites de collecte de fonds, sites de recherche d'emploi et sites d'événements, ainsi que sur Yelp, Apple Maps et les sites de fondations telles que la Mental Health Foundation néo-zélandaise et la National Foundation for Cancer Research. Les chercheurs ont décrit l'écriture des numéros de téléphone de plusieurs façons différentes, avec des espaces, des points, des emojis ou des mots entre les chiffres, afin que les filtres de spam les manquent tandis que le moteur d'IA comprend toujours le numéro comme un numéro de téléphone.

Les campagnes sont menées, selon les informations, entièrement automatiquement, avec les mêmes modèles et numéros de téléphone, au rythme de milliers de messages par jour; la suppression ciblée ne suffit pas toujours, car les pages supprimées sont conservées dans les archives et continuent d'être indexées. La plupart des entreprises contactées par les chercheurs ont répondu que la gestion n'était pas de leur responsabilité, car leurs systèmes internes n'avaient pas été violés. Google a répondu que les signalements d'informations trompeuses générées par l'IA se situent en dehors de son programme de divulgation des vulnérabilités, et OpenAI a fermé le signalement en prétendant que les résultats ne pouvaient pas être reproduits de manière cohérente. Les chercheurs ont développé un mécanisme pour retourner des informations vérifiées aux réponses d'IA, qu'ils promeuvent maintenant dans une startup qu'ils ont créée.