LLM Application Security and Red Teaming Specialist

Formation axée sur la modélisation des menaces pour applications LLM : cartographie de la surface d’attaque, identification des risques (OWASP LLM Top 10) et documentation du modèle de menace. Met l’accent sur flux de données, frontières de confiance et permissions d’outils.

Cartographier la surface d’attaque d’une application LLM : concepts clés et points d’entrée pour évaluer les vecteurs exploitables.

Analyse des risques selon l’OWASP LLM Top 10 (2025) : comprendre les vulnérabilités prioritaires et leurs implications pour les apps LLM.

Examiner les flux de données, définir les frontières de confiance et gérer les permissions d’outils ; formaliser et documenter le modèle de menace.

Ce module traite des attaques par prompt injection et de la gestion des sorties : injections directes/indirectes, fuites de system prompts, gestion d’un output non fiable et isolation des prompts via couches de politique. Approche centrée sur concepts et bonnes pratiques.

Étudier les injections de prompts directes et indirectes : vecteurs d’attaque, exemples et moyens de détection.

Analyser les risques liés à la fuite du system prompt et ses conséquences sur le comportement du modèle.

Gérer des sorties non sécurisées et implémenter l’isolation de prompts et des couches de politiques pour limiter l’exécution ou la divulgation non désirée.

Module dédié à la sécurité des données et de la supply chain pour RAG et LLMs : empoisonnement de RAG, faiblesses d’embedings/vectors, divulgation de données sensibles et risques liés aux dépendances, modèles et jeux de données en chaîne d’approvisionnement.

Identifier et contrer le poisoning des systèmes RAG et les documents malveillants introduits dans les bases de connaissance.

Examiner les vulnérabilités liées aux embeddings et vecteurs, et leurs impacts sur la recherche et la pertinence des résultats.

Aborder la divulgation de données sensibles et les risques de la supply chain : dépendances, modèles externes et jeux de données tiers.

Sécurisez les agents LLM en appliquant le principe du moindre privilège, en gérant les listes d'outils, les approbations et les environnements sandbox, en prévenant l'abus de consommation et en concevant des tests de régression sécurité et rapports adaptés aux systèmes LLM.

Exploration des risques d'agence excessive et application du principe du moindre privilège aux agents LLM.

Conception et gouvernance des allowlists d'outils, des scopes, des processus d'approbation et des sandboxes.

Identification et atténuation des scénarios d'utilisation illimitée et d'abus de coûts dans les pipelines LLM.

Méthodes pour écrire et exécuter des tests de régression sécurité et formaliser des rapports exploitables pour systèmes LLM.