Ce que l'IA ne doit pas faire dans votre entreprise : garde-fous et supervision humaine
Risques de l'IA en entreprise : les sept choses qu'une IA ne doit pas faire seule, les quatre niveaux d'autonomie et les garde-fous de supervision humaine.
Publié le · Mis à jour le · 9 min de lecture
Rédigé par Karim Brahim
Les principaux risques de l'IA en entreprise tiennent à sept usages à ne jamais lui confier seule. Elle ne doit pas décider sur une personne, affirmer sans source, tout voir ou agir de façon irréversible. Elle ne doit pas non plus se faire passer pour un humain, traiter des données sensibles sans cadre ni servir une pratique interdite.
Voici les sept limites à poser, les niveaux d'autonomie et les garde-fous de supervision.
Pourquoi parler de garde-fous maintenant ?
Les chatbots et les agents IA ne se contentent plus de rédiger : ils envoient des e-mails, créent des fiches, réservent des créneaux, déclenchent des paiements. Plus un système agit, plus une erreur coûte cher.
Le cadre juridique s'est aussi précisé. Le règlement européen sur l'IA (AI Act) interdit certaines pratiques depuis le 2 février 2025. Il impose depuis le 2 août 2026 des obligations de transparence. Le règlement (UE) 2026/1744, entré en vigueur le 27 juillet 2026, a reporté au 2 décembre 2027 les obligations des systèmes à haut risque listés à l'annexe III. Les règles de transparence ne changent pas. Le RGPD, lui, s'applique à toute donnée personnelle traitée par une IA : faites valider ce point par votre délégué à la protection des données ou un juriste.
Les 7 choses que l'IA ne doit pas faire seule
1. Prendre une décision importante sur une personne
Refuser un candidat, écarter un dossier de financement, sanctionner un salarié, résilier un client : ces décisions ne doivent pas reposer uniquement sur un traitement automatisé.
- L'article 22 du RGPD protège contre les décisions fondées exclusivement sur un traitement automatisé. Ce droit vise les décisions qui produisent des effets juridiques ou affectent la personne de manière significative, sauf exceptions encadrées.
- Le recrutement et l'évaluation des salariés figurent parmi les usages à haut risque de l'AI Act. Des obligations renforcées s'appliquent à partir du 2 décembre 2027.
Garde-fou : l'IA peut trier, résumer, signaler. Une personne décide, et peut expliquer sa décision.
2. Affirmer ce qu'elle ne peut pas sourcer
Un modèle de langage (LLM) produit un texte plausible, pas nécessairement vrai. Une réponse inventée, ce qu'on appelle une hallucination, peut engager l'entreprise. En 2024, dans l'affaire Moffatt contre Air Canada, un tribunal de Colombie-Britannique a jugé la compagnie responsable des informations erronées de son chatbot sur un tarif réduit. Selon le tribunal, elle répondait de toutes les informations publiées sur son site, chatbot compris.
Garde-fous :
- Limiter les réponses à vos contenus validés, grâce au RAG (notre guide).
- Imposer à l'assistant de dire « je ne sais pas » et de proposer un contact humain quand l'information manque.
- Interdire les engagements : prix fermes, délais garantis, remboursements, avis juridiques ou médicaux.
- Tester avant la mise en ligne avec des questions réelles, y compris des pièges.
3. Accéder à tout
Donner à un agent l'accès complet à la messagerie, au CRM et au drive « pour qu'il soit plus utile » est une erreur classique. Un agent qui lit des contenus externes (e-mails, pages web, documents de tiers) peut être manipulé par des instructions cachées. Ce risque s'appelle l'injection de prompt. L'OWASP le classe au premier rang de son Top 10 des risques pour les applications utilisant des LLM (édition 2025).
Garde-fous :
- Principe du moindre privilège : chaque accès est limité au strict nécessaire. Préférez la lecture seule quand c'est possible.
- Séparation des contenus de confiance (vos consignes) et des contenus externes (ce que le client envoie).
- Aucune clé d'API ni aucun secret dans les consignes de l'IA.
- Listes blanches d'actions autorisées plutôt que listes noires.
4. Agir de façon irréversible sans validation
Envoyer un e-mail à 800 clients, virer de l'argent, supprimer des fichiers, modifier des coordonnées bancaires, accepter une commande : ici, une erreur ne se rattrape pas.
Garde-fous :
- Validation humaine obligatoire au-delà d'un seuil (montant, nombre de destinataires, type d'action).
- Mode brouillon par défaut : l'agent prépare, l'humain envoie.
- Plafonds techniques : nombre d'actions par heure, budget de consommation, arrêt automatique en cas d'anomalie.
- Vérification hors ligne de toute demande de changement de RIB, cible habituelle de la fraude.
5. Se faire passer pour un humain
Depuis le 2 août 2026, l'article 50 de l'AI Act impose d'informer les personnes qu'elles interagissent avec un système d'IA, sauf si c'est évident au vu du contexte. Le même article encadre les contenus générés ou manipulés. Les hypertrucages (« deepfakes ») doivent notamment être signalés. Les manquements peuvent coûter jusqu'à 15 millions d'euros ou 3 % du chiffre d'affaires annuel mondial. Pour les PME, le montant retenu est le plus faible des deux.
Garde-fous :
- Message d'accueil explicite (« Je suis l'assistant IA de… »).
- Nom d'assistant qui ne laisse pas croire à une personne.
- Bascule annoncée quand un humain reprend la conversation.
- Voix de synthèse clairement présentée comme telle au téléphone.
6. Manipuler des données sensibles sans cadre
Données de santé, données RH, pièces d'identité, coordonnées bancaires, secrets d'affaires : ces informations n'ont rien à faire dans un outil d'IA grand public. Elles n'ont pas non plus leur place dans un chatbot non prévu pour cela. Le risque le plus courant est humain : un collaborateur colle un document confidentiel dans un service qui réutilise les données.
Garde-fous :
- Une liste des outils autorisés. Privilégiez des offres professionnelles dont les conditions excluent l'entraînement sur vos données.
- Minimisation : ne collecter que le nécessaire, masquer ou pseudonymiser quand c'est possible.
- Information des personnes, durées de conservation, registre des traitements et contrats avec les sous-traitants, comme l'exige le RGPD.
- Hébergement adapté pour les données de santé. Hébergées pour le compte d'un professionnel, elles relèvent de la certification HDS.
7. Servir une pratique interdite
Depuis le 2 février 2025, l'article 5 de l'AI Act interdit notamment :
- Les techniques de manipulation subliminale ou délibérément trompeuses causant un préjudice important.
- L'exploitation des vulnérabilités liées à l'âge ou à la situation sociale.
- La notation sociale.
- La reconnaissance des émotions au travail ou dans les établissements d'enseignement, sauf raisons médicales ou de sécurité.
Ces interdictions sont passibles des amendes les plus élevées du règlement : jusqu'à 35 millions d'euros ou 7 % du chiffre d'affaires annuel mondial.
Garde-fou : un outil qui prétend « détecter le stress des téléconseillers » ou « analyser l'humeur des salariés en réunion » doit être écarté.
Automatisation par l'IA : découvrir notre approche ou demander un devis.
Choisir le bon niveau d'autonomie
Tout n'exige pas le même contrôle. Nous utilisons une échelle simple à quatre niveaux, à définir tâche par tâche.
| Niveau | Ce que fait l'IA | Rôle de l'humain | Exemples adaptés |
|---|---|---|---|
| 1. Assistance | propose un texte, un résumé, une analyse | relit et décide de tout | rédaction d'une réponse à une réclamation, synthèse d'un contrat |
| 2. Préparation | prépare une action complète en brouillon | valide d'un clic ou corrige | devis, relance, mise à jour d'une fiche client |
| 3. Action bornée | agit seule dans un périmètre limité et réversible | contrôle par échantillon, reçoit des alertes | réponse aux questions fréquentes, prise de rendez-vous, classement des e-mails |
| 4. Action autonome étendue | enchaîne plusieurs actions dans un workflow multi-outils | supervise des indicateurs, peut tout suspendre | rarement justifié dans une PME, et jamais pour des actions irréversibles |
La règle : démarrer un niveau plus bas que ce que vous visez, mesurer pendant quelques semaines, puis relâcher le contrôle sur les cas maîtrisés.
Les mécanismes concrets de supervision humaine
- Journal des actions : chaque action de l'IA est tracée (quoi, quand, sur quelle donnée, à partir de quelle demande).
- Validation avant action sensible, avec seuils définis à l'avance.
- Transfert vers un humain accessible à tout moment pour le client ou le collaborateur.
- Relecture d'échantillons : quelques conversations ou tâches relues chaque semaine, plus au lancement.
- Alertes : taux d'erreur, pics d'activité anormaux, dépassement de budget, sujets sensibles détectés.
- Interrupteur : possibilité de suspendre l'automatisation en un clic, avec un mode dégradé (« laissez vos coordonnées, nous vous rappelons »).
- Tests de non-régression : une batterie de questions et de cas rejouée à chaque changement de consigne, d'outil ou de modèle.
- Responsable identifié : une personne dans l'entreprise répond de chaque automatisation.
Un test simple
Pour chaque automatisation, demandez-vous : si elle se trompe cent fois de suite cette nuit, que se passe-t-il demain matin ? Si la réponse vous inquiète, il manque un seuil, une validation ou un plafond.
Exemples par secteur
La même IA peut être utile ou dangereuse selon la tâche. Ce tableau illustre, par secteur, la frontière entre ce qu'elle peut faire et ce qui exige un humain.
| Secteur | Ce que l'IA peut faire | Ce qu'elle ne doit pas faire seule |
|---|---|---|
| Artisan du bâtiment | qualifier une demande, proposer un créneau de visite, préparer un devis | annoncer un prix ferme, diagnostiquer un risque électrique ou de structure |
| Cabinet médical ou paramédical | gérer les rendez-vous, rappeler les pièces à apporter | donner un avis médical, recueillir des symptômes détaillés sans cadre adapté |
| Cabinet d'avocats | résumer un dossier, préparer une trame de courrier | délivrer un conseil juridique à un client, envoyer un acte sans relecture |
| E-commerce | répondre sur le suivi de commande, proposer des produits | accorder un remboursement hors politique, modifier une adresse de livraison sans vérification |
| Ressources humaines | rédiger une offre d'emploi, organiser des entretiens | trier et écarter des candidats sans intervention humaine |
| Comptabilité | rapprocher des pièces, signaler des anomalies | valider un paiement, modifier des coordonnées bancaires |
Formaliser le tout dans une charte d'usage
Une charte d'une ou deux pages suffit pour une PME. Elle précise les outils autorisés, les données interdites et les niveaux d'autonomie par type de tâche. Elle fixe aussi les règles de relecture, la transparence vis-à-vis des clients et la personne à prévenir en cas d'incident. Elle s'accompagne d'une formation : l'article 4 de l'AI Act, reformulé en 2026, demande aux entreprises de soutenir la maîtrise de l'IA par leur personnel. Notre article Former ses équipes à l'IA : programme type d'une journée propose un déroulé complet.
Checklist avant de mettre une IA en production
Avant toute mise en production, chaque point de cette liste doit pouvoir être coché. Un seul manque suffit à justifier un report.
- Le périmètre est écrit : ce que l'IA fait, propose, refuse.
- Les personnes savent qu'elles échangent avec une IA.
- Les réponses s'appuient sur des contenus validés, et l'IA sait dire qu'elle ne sait pas.
- Les accès sont limités au strict nécessaire.
- Les actions irréversibles ou financières passent par une validation humaine.
- Les données personnelles sont minimisées, les durées de conservation fixées, le registre à jour.
- Un journal des actions, des alertes et un interrupteur existent.
- Une batterie de tests a été jouée, y compris des tentatives de détournement.
- Un responsable interne est désigné.
- Une revue est planifiée après un mois.
Chez Dopinet, ces garde-fous font partie de chaque projet d'automatisation : chatbot, agent IA connecté à vos outils ou IA qui répond au téléphone. Pour estimer ce que coûte un agent correctement encadré, consultez aussi Combien coûte un agent IA sur mesure ?.
Ce qu'il faut retenir sur les risques de l'IA en entreprise
- Sept usages ne se confient jamais seuls à une IA, de la décision sur une personne à la pratique interdite.
- Le niveau d'autonomie se choisit tâche par tâche, en commençant prudemment.
- La supervision humaine repose sur des mécanismes concrets : journal, validations, relectures, alertes, interrupteur, tests.
- RGPD et AI Act fixent le socle : transparence depuis le 2 août 2026, pratiques interdites depuis le 2 février 2025, haut risque à partir du 2 décembre 2027.
- Les pratiques interdites exposent à jusqu'à 35 millions d'euros ou 7 % du chiffre d'affaires annuel mondial.
Sources
- Règlement (UE) 2024/1689 sur l'intelligence artificielle, EUR-Lex, consulté le 13/09/2026
- Règlement (UE) 2016/679 (RGPD), EUR-Lex, consulté le 13/09/2026
- OWASP, Top 10 for LLM Applications, consulté le 13/09/2026
Vous voulez automatiser sans perdre le contrôle ? Présentez-nous la tâche que vous envisagez de confier à l'IA : nous vous proposons le bon niveau d'autonomie et les garde-fous adaptés. Découvrir l'automatisation par l'IA ou demander un devis.