SECUIA – Formation Sécurité des systèmes d’intelligence artificielle

Jour 1 – Après-midi

1.B. GPAI

• Qu’est ce qu’un GPAI frontier
• Comment entraine-t-on un GPAI frontier ?
• Peut-on entraîner des GPAI meilleurs que les experts humains ?
• Que se passe-t-il quand le GPAI devient meilleurs que les experts humains ?
• La dynamique de course technologique
• Les implications en matière de sécurité nationale / internationale
• Non-prolifération et mécanismes de vérification
• Qu’est ce qu’une entreprise peut faire ?

Jour 2 – Matin

2.A.1 Conformité et cadre réglementaire de l’IA

2.A.1.1 Structure de gouvernance étatique de l’IA

2.A.1.2 Règlement européen sur l’Intelligence Artificielle (AI Act)

• Genèse, objectifs et calendrier d’application
• Classification des systèmes d’IA par niveau de risque
• Obligations par catégorie : systèmes interdits, haut risque, risque limité, risque minimal – logique par les risques
• Exigences pour les systèmes à haut risque : données, documentation, supervision humaine
• Obligations spécifiques aux modèles d’IA à usage général (GPAI)
• Gouvernance européenne
• Sanctions et mise en conformité
• Positionnement du SIA dans l’écosystème juridique
• Notion clé : la règle applicable dépend du rôle (fournisseur / déployeur), du niveau de risque, du contexte sectoriel

2.A.1.3 Articulation avec les autres réglementations

• AI Act et RGPD : protection des données personnelles dans l’IA
• AI Act et NIS2 : systèmes d’IA critiques
• AI Act et règlements sectoriels (focus DORA – résilience opérationnelle/numérique)
• Articulation de l’IA avec CSA, CRA (schéma de certification, surveillance de produit, présomption de conformité)
• Articulation des notifications d’incident
• Comparaison internationale
• Évolution Omnibus

2.A.1.4 Normes et référentiels internationaux

• ISO/IEC 42001 : Système de management de l’IA
• ISO/IEC 23894 : Gestion des risques de l’IA
• ISO/IEC 38507 : Gouvernance de l’IA
• ISO/IEC 25059 : Qualité des systèmes d’IA
• ISO/IEC 27090 : Mesures de sécurité pour l’IA
• Articulation avec ISO 27001

2.A.1.5 Référentiels et guides sectoriels

• ANSSI
• ENISA : bonnes pratiques de sécurité de l’IA
• NIST AI Risk Management Framework (AI RMF)
• ISACA : AI Audit Framework
• CSA AI Safety Initiative et Cloud Controls Matrix for AI

2.A.1.6. Responsabilités et qualification des acteurs

• Fournisseur vs déployeur
• Impacts juridiques selon le niveau de risque du SIA
• Responsabilités administrative, contractuelle et pénale (vue d’ensemble)
• Chaîne d’approvisionnement IA : dépendances critiques, responsabilité en cas de défaillance
• Interconnexions → propagation des risques

2.A.1.7 Outil pratique

1. Checklist juridique : questions clés à se poser face à un SIA

2.A.2 Gestion des risques de l’Intelligence Artificielle

2.A.2.1 État de la menace portant sur les systèmes d’IA

2.A.2.2 Typologie d’attaques

• Empoisonnement / Extraction / Évasion
• Focus sur les attaques par injection de prompt
• OWASP Top 10 for LLM : Utiliser ce référentiel pour sécuriser les applications basées sur des modèles de langage
• OWASP top 10 for Agentic applications
• MITRE ATLAS

2.A.1.3 Vulnérabilités courantes des systèmes d’IA

Jour 2 – Après-midi

2.B.1 Gestion des risques de l’Intelligence Artificielle (suite)

2.B.1.1 Scénarios de risques génériques les plus majeurs

2.B.2 Méthodologie d’analyse de risques applicable

• ISO 27005 / EBIOS RM
• Adaptation des méthodes classiques aux spécificités de l’IA :
• Prise en compte du cycle de vie des systèmes d’IA
• Intégration des risques liés aux données, aux modèles et à la chaîne d’approvisionnement
• Articulation entre risques techniques, juridiques et éthiques
• Articulation avec le cadre réglementaire :
• Intégration des exigences du AI Act dans la démarche d’analyse de risques
• Alignement avec les obligations de documentation, de supervision humaine et de gestion des incidents

2.B.3 Risques spécifiques aux systèmes d’IA : lecture technique, juridique et éthique

• Risques liés aux modèles de langage (LLM) : Opacité des modèles : limites d’explicabilité / obligation de supervision humaine (AI Act) / enjeux de responsabilité en cas de décision contestée
• Hallucinations : production d’informations erronées ou trompeuses / risques décisionnels, juridiques et réputationnels / nécessité de mécanismes de validation et de reprise de contrôle humain
• Risques liés aux modes de déploiement : Cloud / API / On-premise
• Risques de l’agentique
• Autres risques

Jour 3 – Matin

3.A.1 Gouvernance de la sécurité de l’IA

3.A.1.1 Stratégie et organisation

• Positionnement de la sécurité de l’IA dans l’organisation
• Rôles et responsabilités : RSSI, DPO, Chief AI Officer, AI Ethics Officer
• Comitologie : comité IA, instances de gouvernance
• Alignement avec la stratégie d’entreprise et la stratégie SSI

3.A.1.2 Politique de Sécurité des Systèmes d’Information et IA

• Intégration de l’IA dans la PSSI existante
• Politique de sécurité spécifique à l’IA (PSSI-IA)
• Articulation avec les autres politiques (données, cloud, etc.)
• Principes directeurs et exigences minimales

3.A.1.3 Corpus documentaire

• Charte d’utilisation de l’IA
• Charte éthique de l’IA (Rôle stratégique et décisionnel)
• Procédures opérationnelles : validation, déploiement, retrait
• Guide des bonnes pratiques utilisateurs
• Registre des systèmes d’IA
• Questionnaire cadrage projet (en amont de l’AR)
• : Cas pratique avec rédaction d’une politique ou charte (sécu) IA

3.A.1.4 Cadre de gouvernance IA de confiance

• Principes d’une IA responsable
• Supervision humaine des décisions
• Documentation et transparence
• Mécanismes de contrôle et de surveillance continue
• Éthique comme outil d’arbitrage et de gestion des risques
• Arbitrer entre : performance / explicabilité ou automatisation / supervision
• Cas réels d’arbitrage

3.A.1.5 Indicateurs et pilotage

• Définition des KPI spécifiques à l’IA
• Tableaux de bord sécurité IA
• Reporting à la direction et aux instances de gouvernance

Jour 3 – Après-midi

3.B.1 Sécurité de l’IA et gestion de projet

• Intégration de la sécurité dans les projets IA
• Security by design pour l’IA
• Privacy by design et by default
• Points de contrôle sécurité dans le cycle projet
• Rôle du RSSI dans les projets IA
• Évaluation des projets IA
• Analyse de risques projet
• Critères de validation sécurité
• Comité de validation des projets IA : les critères concrets – pourquoi dire non ?

3.B.2 Sécurité de l’IA et ressources humaines

• Programme de sensibilisation à l’IA
• Objectifs et enjeux de la sensibilisation
• Publics cibles : collaborateur, dirigeants, métiers, IT, développeurs
• Messages clés par population
• Risques liés aux usages non maîtrisés (Shadow AI)
• Exemple : le protocole « Think First, Verify Always »
• Dilemmes éthiques concrets
• Modalités de sensibilisation
• Formats : e-learning, ateliers, serious games, communications
• Cas pratiques et mises en situation
• Campagnes de sensibilisation aux risques IA (prompt injection, fuites de données)
• Évaluation de l’efficacité des actions
• Formation et compétences
• Montée en compétences des équipes sécurité sur l’IA
• Formation des développeurs à la sécurité de l’IA
• Autres besoins de formations

3.B.3 Résilience des systèmes d’IA

• Définition de l’« incident grave » au sens de l’AI Act
• Comparaison avec : incident NIS2 / violation de données RGPD / incident DORA
• Articulation des obligations de notification : autorités compétentes / délais / périmètres
• Spécificité du besoin de redondance des systèmes d’IA

Jour 4 – Matin

4.A.1 Sécurité de l’IA et relations contractuelles

Cartographie des prestataires IA

• Clauses contractuelles essentielles
• Transfert et partage de responsabilité
• Gestion de la relation fournisseur
• Points d’attention

4.A.3 AI Act appliqué à la médiation

• La médiation : un processus soumis à des obligations légales et réglementaires (Code de procédure civile, RGPD, AI Act)
• Les étapes pour se conformer à l’AI Act : cartographie, qualification du SIA, qualification du médiateur
• Les obligations principales imposées au médiateur par l’AI Act
• Cas concrets d’usage de l’IA dans la médiation : Importance de l’intervention humaine et de la documentation ; Lignes directrices de l’IAB sur l’usage de l’IA générative en médiation : cas concrets et garanties associées
• Les réflexes à avoir : Transparence et consentement des personnes physiques ; Choix avisé des outils et services d’IA (CGU, certification, localisation…) ; Utilisation en pleine conscience : minimisation des informations transmises, esprit critique, évaluation des risques

Jour 4 – Après-midi

4.B.1. Du modèle de fondation au système déployé

• Rappel des concepts des jours précédents. Modèle vs système IA. On reprend la distinction pour préciser, pour chacun, ce qui entre dans le périmètre de validation et ce qui en sort avant d’enchaîner sur les méthodes.
• Périmètre du modèle : propriétés intrinsèques, capacités et propensions
• Périmètre du système : prompts, RAG, outils, droits d’accès, rendu, processus d’exploitation
• Conséquences pour le RSSI : objets à valider

4.B.2. Méthodes de test et de contrôle en production

• Présentation des outils comme étapes d’un même processus (choix du modèle, développement / pré-production, mise en service, exploitation). Pour chacun : finalité, moment d’emploi, couverture, limites. On les compare entre eux pour situer où chacun s’insère dans le cycle et ce qu’il couvre.
• Benchmarks de sûreté
• Évaluations applicatives (evals)
• Red teaming IA et comparaison avec tests d’intrusion classiques
• Guardrails et filtres de modération
• Observabilité

4.B.3. Défaillances observées et cas concrets

• D’où viennent les incidents réellement subis par les déployeurs, quels dommages, ce qu’il faut prioriser. Puis des exemples (audits, incidents documentés) pour relier chaque défaillance aux outils de la section 2 : quel dispositif aurait pu la détecter ou bloquer, ce qui reste ouvert.
• Types d’incidents courants
• Angles morts des contrôles usuels
• Mise en situation sur de cas concrets (injections, hallucinations, RAG, agents) et méthodes de protection applicables

4. Ciblage des contrôles

• Repères pratiques pour comprendre quels dispositifs mettre en place selon le type de projet et les risques associés.
• Adaptation des outils au type de projet et au périmètre
• Limites des tests et risque résiduel

Jour 5 – Matin

5.A.1 Cas pratique au moyen d’un exercice de gestion de crise

5.A.2 Rappel des concepts fondamentaux / Questions / Retex à chaud

Jour 5 – Après-midi

5.B.1 Examen