Simple Science

La science de pointe expliquée simplement

# Informatique# Cryptographie et sécurité# Calcul et langage

Menaces de phishing à l'ère de l'IA

Les tactiques de phishing évoluent avec l'IA, ce qui pose de nouveaux risques pour les organisations.

― 9 min lire


IA et Phishing : UneIA et Phishing : UneVraie Menacesensibles.l'IA, mettant en danger des donnéesLes arnaques au phishing évoluent avec
Table des matières

Le phishing, c'est une arnaque en ligne où des attaquants essaient de piéger les gens pour qu'ils donnent des infos sensibles, comme des noms d'utilisateur et des mots de passe, en faisant semblant d'être des sources fiables. Ces dernières années, les attaques de phishing sont devenues plus sophistiquées et ciblées, surtout avec l'utilisation de technologies comme les Modèles de Langage de Grande Taille (LLMs). Ces modèles peuvent créer des e-mails super convaincants qui ont l'air réels, rendant plus difficile la tâche de repérer les arnaques. Cet article explore les risques de ces nouvelles techniques de phishing, surtout dans les grandes organisations comme les universités.

L'Évolution du Phishing

Le phishing existe depuis un certain temps. Au début, les e-mails de phishing étaient faciles à repérer parce qu'ils contenaient des erreurs évidentes, comme de la mauvaise grammaire ou des adresses e-mail étranges. Cependant, les avancées technologiques ont permis aux attaquants de créer des e-mails d'apparence professionnelle qui peuvent tromper même les plus prudents.

Maintenant, le phishing est souvent personnalisé, ce qui signifie que les attaquants recherchent leurs cibles et rédigent des messages qui semblent provenir de personnes ou de départements au sein de l'organisation. C'est ce qu'on appelle le Spear Phishing, et c'est super dangereux parce que ça exploite la confiance qui existe dans les relations professionnelles.

La montée des LLMs ajoute une nouvelle couche à ce problème. Ces modèles peuvent produire du texte qui ressemble de près à l'écriture humaine. En conséquence, les e-mails de phishing générés par des LLMs peuvent être encore plus difficiles à détecter, augmentant le risque pour les individus et les organisations.

L'Impact des LLMs sur le Phishing

Les LLMs peuvent générer des e-mails sur mesure qui incluent des détails spécifiques sur le destinataire ou son rôle professionnel. Cette personnalisation rend les e-mails plus légitimes. Par exemple, un LLM pourrait créer un e-mail qui semble venir du superviseur du destinataire, demandant des infos sensibles. Comme l'e-mail semble provenir d'une source de confiance, le destinataire est plus susceptible de l'ouvrir et de répondre.

Dans le secteur de l'éducation, les attaques de phishing ont considérablement augmenté. Entre 2021 et 2022, on a vu une montée fulgurante des attaques de phishing visant les écoles et les universités, soulignant le besoin de meilleures défenses contre ces menaces.

Le Besoin d'Études dans le Monde Réel

Pour lutter contre ces attaques de phishing sophistiquées, il est crucial de les étudier dans des contextes réels. Cela signifie examiner comment les Employés interagissent avec les e-mails de phishing dans leur environnement de travail quotidien. En comprenant l'efficacité de ces attaques et comment les gens y réagissent, les organisations peuvent développer de meilleures formations et mesures préventives.

Un aspect crucial de l'étude du phishing est d'examiner comment les systèmes de filtrage des e-mails existants peuvent détecter et prévenir ces nouveaux types d'attaques. Bien que les systèmes actuels soient conçus pour attraper les tentatives de phishing traditionnelles, ils peuvent avoir du mal avec les e-mails plus personnalisés et convaincants générés par des LLMs.

Aperçu de l'Étude

Cette étude se concentre sur la façon dont les LLMs peuvent être utilisés pour créer des e-mails de phishing ciblés dans le cadre d'une grande université. Au cours d'une période de 11 mois, les chercheurs ont envoyé divers e-mails de phishing à environ 9 000 employés. L'objectif était de voir à quel point ces e-mails étaient efficaces et si les systèmes de filtrage des e-mails existants pouvaient les attraper.

Les e-mails variaient en contenu, certains étant rédigés par des humains et d'autres générés par des LLMs. L'étude visait à évaluer comment les employés interagissaient avec ces différents types d'e-mails de phishing et à quel point les filtres de messagerie les détectaient bien.

Résultats de l'Étude

Interaction des Employés avec les E-mails de Phishing

Tout au long de l'étude, les chercheurs ont observé comment les employés interagissaient avec les e-mails de phishing. Ils ont enregistré des données sur le nombre de personnes ayant ouvert les e-mails, cliqué sur des liens et entré des infos comme leurs identifiants de connexion.

Les résultats ont montré que les e-mails de phishing avaient des taux de succès variables. Certains e-mails ont été plus efficaces que d'autres, selon leur contenu et leur pertinence pour les destinataires. Par exemple, les e-mails qui mentionnaient des infos urgentes ou sensibles au temps avaient tendance à avoir des taux d'ouverture plus élevés.

Une découverte préoccupante était qu'environ 10 % des destinataires ont entré leurs identifiants de connexion en réponse à des e-mails de phishing générés par des LLMs. Cela suggère que les e-mails de phishing étaient assez convaincants, ce qui alarme sur l'efficacité de la formation et des défenses actuelles.

E-mails Rédigés par des Humains vs. E-mails Générés par des LLMs

L'étude a également comparé l'efficacité des e-mails de phishing écrits par des humains à ceux générés par des LLMs. Les e-mails écrits par des humains avaient tendance à avoir des taux d'ouverture plus élevés, mais les e-mails générés par des LLMs étaient plus efficaces pour persuader les destinataires de cliquer sur des liens et d'entrer leurs données.

Par exemple, un type d'e-mail de phishing qui imitait une communication d'un superviseur avait des taux de succès plus élevés lorsqu'il était généré par un LLM. Cela montre qu'à mesure que les LLMs deviennent plus sophistiqués, ils peuvent produire des e-mails qui sont non seulement convaincants mais aussi efficaces pour inciter les gens à interagir avec eux.

Le Rôle des Informations Internes et Externes

Un autre aspect intéressant de l'étude était l'impact de l'utilisation d'informations internes par rapport à des informations externes dans les e-mails de phishing. Les e-mails qui incluaient des détails spécifiques à l'organisation-comme des noms d'employés ou des événements récents-tendaient à mieux performer que ceux qui reposaient sur des informations externes générales.

Les e-mails s'adressant aux destinataires par leur nom et faisant référence à des aspects familiers de l'organisation étaient plus susceptibles d'être ouverts et d'être pris en compte. Cette découverte souligne l'importance de comprendre le public cible lors de la rédaction de messages de phishing.

Les Limitations des Efforts Actuels Anti-Phishing

Malgré les efforts de l'équipe de Cybersécurité de l'université, l'étude a révélé des lacunes significatives dans l'infrastructure anti-phishing existante. Les systèmes de filtrage traditionnels reposent souvent sur des schémas d'activité malveillante connus et peuvent ne pas reconnaître le langage sophistiqué utilisé dans les e-mails générés par des LLMs.

Bien que l'université ait mis en place certaines mesures pour lutter contre les attaques de phishing-comme des simulations mensuelles et de la formation-les résultats ont mis en évidence un besoin urgent d'amélioration. De nombreux employés étaient encore vulnérables aux arnaques de phishing, en particulier celles qui semblaient moins évidentes ou plus personnalisées.

Recommandations pour l'Amélioration

Pour renforcer les défenses contre ces menaces émergentes, plusieurs recommandations peuvent être faites :

  1. Programmes de Formation Améliorés : Les organisations devraient régulièrement mettre à jour leurs programmes de formation sur le phishing pour inclure des infos sur le phishing généré par des LLM. La formation devrait se concentrer sur l'aide aux employés pour reconnaître des indices subtils dans les e-mails, comme des demandes suspectes ou des styles de communication inhabituels.

  2. Amélioration des Technologies de Filtrage des E-mails : Les filtres de messagerie existants doivent s'adapter à l'évolution des menaces. Cela inclut l'incorporation de systèmes de détection avancés qui recherchent des nuances dans le langage et le contexte.

  3. Utilisation de Tags dans les E-mails : La mise en place d'un système de tagging pour les e-mails suspectés d'être générés par des LLM pourrait aider à accroître la sensibilisation. Par exemple, marquer ces e-mails comme pouvant provenir d'une source IA pourrait inciter les destinataires à les examiner de plus près.

  4. Sensibilisation Accrue aux Risques Internes : Les employés devraient être éduqués sur les risques associés aux communications internes. De nombreuses attaques de phishing exploitent la confiance et la familiarité qui existent au sein des organisations, rendant essentiel de favoriser une culture de vigilance.

  5. Tests Réguliers des Mesures de Sécurité : Les organisations devraient continuellement évaluer l'efficacité de leurs mesures anti-phishing par le biais de tests et de simulations réguliers. Cela aidera à identifier les lacunes et à améliorer les stratégies de réponse.

Conclusion

Le phishing constitue une menace réelle pour les organisations, surtout à mesure que les méthodes d'attaque deviennent de plus en plus sophistiquées avec l'aide de technologies comme les LLMs. Les résultats de cette étude soulignent l'importance d'améliorer les programmes de formation, de perfectionner les technologies de filtrage des e-mails et de favoriser une culture de sensibilisation parmi les employés.

En prenant des mesures proactives pour adresser les vulnérabilités exposées durant l'étude, les organisations peuvent mieux se protéger contre l'évolution des menaces de phishing. La clé pour combattre ces attaques réside dans la compréhension des tactiques utilisées par les cybercriminels et dans l'équipement des employés avec les connaissances et les outils nécessaires pour repérer et résister à ces menaces.

Source originale

Titre: Large Language Model Lateral Spear Phishing: A Comparative Study in Large-Scale Organizational Settings

Résumé: The critical threat of phishing emails has been further exacerbated by the potential of LLMs to generate highly targeted, personalized, and automated spear phishing attacks. Two critical problems concerning LLM-facilitated phishing require further investigation: 1) Existing studies on lateral phishing lack specific examination of LLM integration for large-scale attacks targeting the entire organization, and 2) Current anti-phishing infrastructure, despite its extensive development, lacks the capability to prevent LLM-generated attacks, potentially impacting both employees and IT security incident management. However, the execution of such investigative studies necessitates a real-world environment, one that functions during regular business operations and mirrors the complexity of a large organizational infrastructure. This setting must also offer the flexibility required to facilitate a diverse array of experimental conditions, particularly the incorporation of phishing emails crafted by LLMs. This study is a pioneering exploration into the use of Large Language Models (LLMs) for the creation of targeted lateral phishing emails, targeting a large tier 1 university's operation and workforce of approximately 9,000 individuals over an 11-month period. It also evaluates the capability of email filtering infrastructure to detect such LLM-generated phishing attempts, providing insights into their effectiveness and identifying potential areas for improvement. Based on our findings, we propose machine learning-based detection techniques for such emails to detect LLM-generated phishing emails that were missed by the existing infrastructure, with an F1-score of 98.96.

Auteurs: Mazal Bethany, Athanasios Galiopoulos, Emet Bethany, Mohammad Bahrami Karkevandi, Nishant Vishwamitra, Peyman Najafirad

Dernière mise à jour: 2024-01-18 00:00:00

Langue: English

Source URL: https://arxiv.org/abs/2401.09727

Source PDF: https://arxiv.org/pdf/2401.09727

Licence: https://creativecommons.org/licenses/by/4.0/

Changements: Ce résumé a été créé avec l'aide de l'IA et peut contenir des inexactitudes. Pour obtenir des informations précises, veuillez vous référer aux documents sources originaux dont les liens figurent ici.

Merci à arxiv pour l'utilisation de son interopérabilité en libre accès.

Plus d'auteurs

Articles similaires