Sécurité de l'IA : les nouvelles portes d'entrée des attaquants
Chatbots, assistants de code, agents capables d'agir sur nos outils : les modèles de langage (LLM) s'intègrent partout. Ils apportent aussi une nouvelle surface d'attaque, que les référentiels comme l'OWASP Top 10 pour les applications LLM et les guides de l'ANSSI commencent à documenter.
Pourquoi l'IA change la donne
Dans une application classique, le code et les données sont séparés. Avec un LLM, les instructions et le contenu à traiter arrivent dans le même texte : le modèle ne fait pas toujours la différence entre un ordre légitime et une phrase piégée cachée dans un document, un e-mail ou une page web.
Les principales menaces
- Injection de prompt : un attaquant glisse des instructions malveillantes, directement ou via un contenu lu par l'IA (injection indirecte), pour détourner son comportement.
- Fuite d'informations sensibles : le modèle révèle des données confidentielles, son prompt système ou des secrets présents dans son contexte.
- Agents trop autonomes : une IA connectée à des outils (e-mail, fichiers, API) peut exécuter des actions dangereuses si ses permissions sont trop larges.
- Empoisonnement des données : des données d'entraînement ou des bases documentaires (RAG) manipulées faussent les réponses ou installent des portes dérobées.
- Chaîne d'approvisionnement : modèles, bibliothèques ou plugins téléchargés depuis des sources non vérifiées peuvent contenir du code malveillant.
Comment se protéger
- Considérer toute sortie du modèle comme non fiable : la valider avant de l'afficher, de l'exécuter ou de l'envoyer à un autre système.
- Appliquer le principe du moindre privilège aux agents et exiger une validation humaine pour les actions sensibles.
- Ne jamais placer de secrets (clés API, mots de passe) dans les prompts ou le contexte du modèle.
- Filtrer et tracer les entrées et sorties, et surveiller les usages anormaux.
- Vérifier la provenance des modèles et des jeux de données, et tester régulièrement ses applications IA (red teaming).
Le mot de HackInAlps
L'IA ne remplace pas les bases de la sécurité, elle les rend encore plus importantes. Des défis d'injection de prompt pourraient bien se glisser dans nos prochains ateliers et CTF !