IA en entreprise : la DGSI alerte sur les risques d’ingérence
Dans une note publiée fin décembre, la Direction générale de la sécurité intérieure met en garde les entreprises françaises contre des dérives déjà repérées d’une utilisation de l’intelligence artificielle non maîtrisée. À travers plusieurs cas concrets observés sur le terrain, l’institution démontre comment des pratiques apparemment anodines peuvent exposer les organisations à des risques majeurs. Elle propose également un ensemble de préconisations pour sécuriser ces usages. Des recommandations utiles également pour les acteurs du publics, à commencer par les collectivités…
Le Shadow AI ou quand les outils d’IA grand public mettent en péril les données sensibles
Premier cas d’école mis en avant par la DGSI : celui d’une entreprise multinationale dont le directeur des services informatiques a découvert un usage préoccupant. Des salariés recouraient à un outil d’IA générative grand public, développé par une société étrangère, pour traduire des documents confidentiels. Et ce, sans l’accord de leur hiérarchie, dans le cadre de leurs activités quotidiennes.
Comme le détaille la note, la direction a réagi rapidement en orientant les équipes vers une solution payante d’IA générative acquise par la société. Un groupe de travail a également été constitué pour définir une doctrine d’utilisation interne claire.
Le risque majeur identifié ? La réutilisation des données. En effet, les versions gratuites de ces outils utilisent souvent les informations saisies par les utilisateurs pour entraîner leurs modèles. Ces données peuvent alors être stockées à l’étranger et soumises à des législations extraterritoriales. Un danger bien réel pour la confidentialité des informations stratégiques.
L’évaluation automatisée des partenaires : un pari risqué
Deuxième cas analysé par la DGSI : une société française en croissance a mis en place une procédure de due diligence pour évaluer ses nouveaux partenaires commerciaux sur des marchés étrangers. Pour gagner du temps, elle a confié cette mission entièrement à un outil fondé sur l’intelligence artificielle, créé par une entreprise étrangère.
Par méconnaissance des biais, l’entreprise s’est appuyée uniquement sur ces rapports automatisés, sans aucune vérification complémentaire. Ses décisions stratégiques dépendaient systématiquement des retours de l’outil.
Cette délégation totale présente là encore plusieurs dangers soulignés par la DGSI. L’IA peut reproduire ou amplifier des biais présents dans les données d’entraînement. Les systèmes automatisés produisent ainsi parfois des hallucinations, c’est-à-dire qu’ils créent des événements fictifs. Enfin, les décisions deviennent des boîtes noires, difficiles à comprendre ou contester. Un cocktail préoccupant pour la fiabilité des choix stratégiques.
Le Deepfake, nouvelle arme des escrocs
Le troisième retour d’expérience est particulièrement spectaculaire. Le responsable d’un site industriel reçoit un appel en visioconférence. Une personne se présente comme le dirigeant du groupe français. L’apparence physique et la voix correspondaient parfaitement au véritable patron.
Rapidement, l’interlocuteur demande un transfert de fonds dans le cadre d’un prétendu projet d’acquisition du groupe. Fort heureusement, « alerté par le caractère inhabituel de cette démarche, le responsable met fin aux échanges et contacte sa direction par les canaux habituels » explique la DGSI.
L’enquête confirmera qu’il s’agissait d’une tentative d’escroquerie par hypertrucage associant le visage et la voix du dirigeant grâce à l’usage d’une IA. Cette technique permet aux attaquants de créer des contenus truqués extrêmement réalistes pour manipuler, frauder ou faire du chantage. Un phénomène en forte progression qui nécessite une vigilance accrue.
Former et encadrer : les premiers remparts
Face à ces menaces, la DGSI recommande d’abord de définir les conditions d’utilisation dans la charte informatique de l’entreprise. Celle-ci doit préciser le niveau de sensibilité des informations qui peuvent être confiées à l’IA. Un guide pratique peut compléter ces règles pour décrire les usages autorisés.
Les entreprises ( tout comme les collectivités) doivent également former régulièrement leurs collaborateurs. Ces ateliers poursuivent plusieurs objectifs : démystifier l’IA, rassurer les utilisateurs et développer une culture de la cybersécurité. Point crucial souligné par l’institution : il ne faut jamais soumettre de données personnelles dans les outils gratuits disponibles sur Internet.
Privilégier les solutions françaises et locales
Le recours à des IA génératives françaises constitue un gage de sécurité selon la DGSI. Ces solutions hébergent leurs données en France et respectent le règlement général sur la protection des données (RGPD). Un atout considérable pour la protection des informations sensibles.
L’utilisation d’IA en local renforce encore la protection. Ce système fonctionne directement sur le système d’information de l’utilisateur, sans nécessiter de connexion constante à un serveur externe. Toutes les données traitées restent ainsi sur le système d’information de l’entreprise, garantissant une maîtrise totale.
Une vigilance constante face aux résultats obtenus
La DGSI insiste sur la nécessité d’une vigilance permanente. Les utilisateurs doivent faire preuve de prudence face aux réponses biaisées et à la manipulation de l’information. Certains modèles sont conditionnés dès leur apprentissage pour éluder certaines questions ou thématiques, ou encore pour relayer des informations manipulées, voire de la propagande.
Il est donc fortement déconseillé, rappelle la note, de baser des décisions uniquement sur les résultats de l’IA. Ces derniers doivent être systématiquement vérifiés par des personnels qualifiés en interne. La présence d’un data scientist permet d’apporter une expertise métier pour analyser le fonctionnement et la qualité de l’outil utilisé. Une double vérification humaine qui reste indispensable.
Un canal de signalement ouvert
La DGSI encourage les entreprises à rester vigilantes et à signaler tout événement suspect lié à l’IA. Un canal dédié a été mis en place : les incidents peuvent être communiqués à l’adresse [email protected]. Cette remontée d’information permet à l’institution d’affiner sa compréhension des menaces et d’adapter ses recommandations. La note de la DGSI rappelle une vérité essentielle : avant d’être une question technique, l’IA est un enjeu de gouvernance qui nécessite un encadrement rigoureux et une culture partagée de la cybersécurité.
