Aller au contenu
IA & automatisation

Ce que l'IA ne doit pas faire dans votre entreprise : garde-fous et supervision humaine

Risques de l'IA en entreprise : les sept choses qu'une IA ne doit pas faire seule, les quatre niveaux d'autonomie et les garde-fous de supervision humaine.

Publié le · Mis à jour le · 9 min de lecture

Rédigé par

Les principaux risques de l'IA en entreprise tiennent à sept usages à ne jamais lui confier seule. Elle ne doit pas décider sur une personne, affirmer sans source, tout voir ou agir de façon irréversible. Elle ne doit pas non plus se faire passer pour un humain, traiter des données sensibles sans cadre ni servir une pratique interdite.

Voici les sept limites à poser, les niveaux d'autonomie et les garde-fous de supervision.

Pourquoi parler de garde-fous maintenant ?

Les chatbots et les agents IA ne se contentent plus de rédiger : ils envoient des e-mails, créent des fiches, réservent des créneaux, déclenchent des paiements. Plus un système agit, plus une erreur coûte cher.

Le cadre juridique s'est aussi précisé. Le règlement européen sur l'IA (AI Act) interdit certaines pratiques depuis le 2 février 2025. Il impose depuis le 2 août 2026 des obligations de transparence. Le règlement (UE) 2026/1744, entré en vigueur le 27 juillet 2026, a reporté au 2 décembre 2027 les obligations des systèmes à haut risque listés à l'annexe III. Les règles de transparence ne changent pas. Le RGPD, lui, s'applique à toute donnée personnelle traitée par une IA : faites valider ce point par votre délégué à la protection des données ou un juriste.

Les 7 choses que l'IA ne doit pas faire seule

1. Prendre une décision importante sur une personne

Refuser un candidat, écarter un dossier de financement, sanctionner un salarié, résilier un client : ces décisions ne doivent pas reposer uniquement sur un traitement automatisé.

  • L'article 22 du RGPD protège contre les décisions fondées exclusivement sur un traitement automatisé. Ce droit vise les décisions qui produisent des effets juridiques ou affectent la personne de manière significative, sauf exceptions encadrées.
  • Le recrutement et l'évaluation des salariés figurent parmi les usages à haut risque de l'AI Act. Des obligations renforcées s'appliquent à partir du 2 décembre 2027.

Garde-fou : l'IA peut trier, résumer, signaler. Une personne décide, et peut expliquer sa décision.

2. Affirmer ce qu'elle ne peut pas sourcer

Un modèle de langage (LLM) produit un texte plausible, pas nécessairement vrai. Une réponse inventée, ce qu'on appelle une hallucination, peut engager l'entreprise. En 2024, dans l'affaire Moffatt contre Air Canada, un tribunal de Colombie-Britannique a jugé la compagnie responsable des informations erronées de son chatbot sur un tarif réduit. Selon le tribunal, elle répondait de toutes les informations publiées sur son site, chatbot compris.

Garde-fous :

  • Limiter les réponses à vos contenus validés, grâce au RAG (notre guide).
  • Imposer à l'assistant de dire « je ne sais pas » et de proposer un contact humain quand l'information manque.
  • Interdire les engagements : prix fermes, délais garantis, remboursements, avis juridiques ou médicaux.
  • Tester avant la mise en ligne avec des questions réelles, y compris des pièges.

3. Accéder à tout

Donner à un agent l'accès complet à la messagerie, au CRM et au drive « pour qu'il soit plus utile » est une erreur classique. Un agent qui lit des contenus externes (e-mails, pages web, documents de tiers) peut être manipulé par des instructions cachées. Ce risque s'appelle l'injection de prompt. L'OWASP le classe au premier rang de son Top 10 des risques pour les applications utilisant des LLM (édition 2025).

Garde-fous :

  • Principe du moindre privilège : chaque accès est limité au strict nécessaire. Préférez la lecture seule quand c'est possible.
  • Séparation des contenus de confiance (vos consignes) et des contenus externes (ce que le client envoie).
  • Aucune clé d'API ni aucun secret dans les consignes de l'IA.
  • Listes blanches d'actions autorisées plutôt que listes noires.

4. Agir de façon irréversible sans validation

Envoyer un e-mail à 800 clients, virer de l'argent, supprimer des fichiers, modifier des coordonnées bancaires, accepter une commande : ici, une erreur ne se rattrape pas.

Garde-fous :

  • Validation humaine obligatoire au-delà d'un seuil (montant, nombre de destinataires, type d'action).
  • Mode brouillon par défaut : l'agent prépare, l'humain envoie.
  • Plafonds techniques : nombre d'actions par heure, budget de consommation, arrêt automatique en cas d'anomalie.
  • Vérification hors ligne de toute demande de changement de RIB, cible habituelle de la fraude.

5. Se faire passer pour un humain

Depuis le 2 août 2026, l'article 50 de l'AI Act impose d'informer les personnes qu'elles interagissent avec un système d'IA, sauf si c'est évident au vu du contexte. Le même article encadre les contenus générés ou manipulés. Les hypertrucages (« deepfakes ») doivent notamment être signalés. Les manquements peuvent coûter jusqu'à 15 millions d'euros ou 3 % du chiffre d'affaires annuel mondial. Pour les PME, le montant retenu est le plus faible des deux.

Garde-fous :

  • Message d'accueil explicite (« Je suis l'assistant IA de… »).
  • Nom d'assistant qui ne laisse pas croire à une personne.
  • Bascule annoncée quand un humain reprend la conversation.
  • Voix de synthèse clairement présentée comme telle au téléphone.

6. Manipuler des données sensibles sans cadre

Données de santé, données RH, pièces d'identité, coordonnées bancaires, secrets d'affaires : ces informations n'ont rien à faire dans un outil d'IA grand public. Elles n'ont pas non plus leur place dans un chatbot non prévu pour cela. Le risque le plus courant est humain : un collaborateur colle un document confidentiel dans un service qui réutilise les données.

Garde-fous :

  • Une liste des outils autorisés. Privilégiez des offres professionnelles dont les conditions excluent l'entraînement sur vos données.
  • Minimisation : ne collecter que le nécessaire, masquer ou pseudonymiser quand c'est possible.
  • Information des personnes, durées de conservation, registre des traitements et contrats avec les sous-traitants, comme l'exige le RGPD.
  • Hébergement adapté pour les données de santé. Hébergées pour le compte d'un professionnel, elles relèvent de la certification HDS.

7. Servir une pratique interdite

Depuis le 2 février 2025, l'article 5 de l'AI Act interdit notamment :

  • Les techniques de manipulation subliminale ou délibérément trompeuses causant un préjudice important.
  • L'exploitation des vulnérabilités liées à l'âge ou à la situation sociale.
  • La notation sociale.
  • La reconnaissance des émotions au travail ou dans les établissements d'enseignement, sauf raisons médicales ou de sécurité.

Ces interdictions sont passibles des amendes les plus élevées du règlement : jusqu'à 35 millions d'euros ou 7 % du chiffre d'affaires annuel mondial.

Garde-fou : un outil qui prétend « détecter le stress des téléconseillers » ou « analyser l'humeur des salariés en réunion » doit être écarté.

Automatisation par l'IA : découvrir notre approche ou demander un devis.

Choisir le bon niveau d'autonomie

Tout n'exige pas le même contrôle. Nous utilisons une échelle simple à quatre niveaux, à définir tâche par tâche.

NiveauCe que fait l'IARôle de l'humainExemples adaptés
1. Assistancepropose un texte, un résumé, une analyserelit et décide de toutrédaction d'une réponse à une réclamation, synthèse d'un contrat
2. Préparationprépare une action complète en brouillonvalide d'un clic ou corrigedevis, relance, mise à jour d'une fiche client
3. Action bornéeagit seule dans un périmètre limité et réversiblecontrôle par échantillon, reçoit des alertesréponse aux questions fréquentes, prise de rendez-vous, classement des e-mails
4. Action autonome étendueenchaîne plusieurs actions dans un workflow multi-outilssupervise des indicateurs, peut tout suspendrerarement justifié dans une PME, et jamais pour des actions irréversibles

La règle : démarrer un niveau plus bas que ce que vous visez, mesurer pendant quelques semaines, puis relâcher le contrôle sur les cas maîtrisés.

Les mécanismes concrets de supervision humaine

  1. Journal des actions : chaque action de l'IA est tracée (quoi, quand, sur quelle donnée, à partir de quelle demande).
  2. Validation avant action sensible, avec seuils définis à l'avance.
  3. Transfert vers un humain accessible à tout moment pour le client ou le collaborateur.
  4. Relecture d'échantillons : quelques conversations ou tâches relues chaque semaine, plus au lancement.
  5. Alertes : taux d'erreur, pics d'activité anormaux, dépassement de budget, sujets sensibles détectés.
  6. Interrupteur : possibilité de suspendre l'automatisation en un clic, avec un mode dégradé (« laissez vos coordonnées, nous vous rappelons »).
  7. Tests de non-régression : une batterie de questions et de cas rejouée à chaque changement de consigne, d'outil ou de modèle.
  8. Responsable identifié : une personne dans l'entreprise répond de chaque automatisation.

Un test simple

Pour chaque automatisation, demandez-vous : si elle se trompe cent fois de suite cette nuit, que se passe-t-il demain matin ? Si la réponse vous inquiète, il manque un seuil, une validation ou un plafond.

Exemples par secteur

La même IA peut être utile ou dangereuse selon la tâche. Ce tableau illustre, par secteur, la frontière entre ce qu'elle peut faire et ce qui exige un humain.

SecteurCe que l'IA peut faireCe qu'elle ne doit pas faire seule
Artisan du bâtimentqualifier une demande, proposer un créneau de visite, préparer un devisannoncer un prix ferme, diagnostiquer un risque électrique ou de structure
Cabinet médical ou paramédicalgérer les rendez-vous, rappeler les pièces à apporterdonner un avis médical, recueillir des symptômes détaillés sans cadre adapté
Cabinet d'avocatsrésumer un dossier, préparer une trame de courrierdélivrer un conseil juridique à un client, envoyer un acte sans relecture
E-commercerépondre sur le suivi de commande, proposer des produitsaccorder un remboursement hors politique, modifier une adresse de livraison sans vérification
Ressources humainesrédiger une offre d'emploi, organiser des entretienstrier et écarter des candidats sans intervention humaine
Comptabilitérapprocher des pièces, signaler des anomaliesvalider un paiement, modifier des coordonnées bancaires

Formaliser le tout dans une charte d'usage

Une charte d'une ou deux pages suffit pour une PME. Elle précise les outils autorisés, les données interdites et les niveaux d'autonomie par type de tâche. Elle fixe aussi les règles de relecture, la transparence vis-à-vis des clients et la personne à prévenir en cas d'incident. Elle s'accompagne d'une formation : l'article 4 de l'AI Act, reformulé en 2026, demande aux entreprises de soutenir la maîtrise de l'IA par leur personnel. Notre article Former ses équipes à l'IA : programme type d'une journée propose un déroulé complet.

Checklist avant de mettre une IA en production

Avant toute mise en production, chaque point de cette liste doit pouvoir être coché. Un seul manque suffit à justifier un report.

  • Le périmètre est écrit : ce que l'IA fait, propose, refuse.
  • Les personnes savent qu'elles échangent avec une IA.
  • Les réponses s'appuient sur des contenus validés, et l'IA sait dire qu'elle ne sait pas.
  • Les accès sont limités au strict nécessaire.
  • Les actions irréversibles ou financières passent par une validation humaine.
  • Les données personnelles sont minimisées, les durées de conservation fixées, le registre à jour.
  • Un journal des actions, des alertes et un interrupteur existent.
  • Une batterie de tests a été jouée, y compris des tentatives de détournement.
  • Un responsable interne est désigné.
  • Une revue est planifiée après un mois.

Chez Dopinet, ces garde-fous font partie de chaque projet d'automatisation : chatbot, agent IA connecté à vos outils ou IA qui répond au téléphone. Pour estimer ce que coûte un agent correctement encadré, consultez aussi Combien coûte un agent IA sur mesure ?.

Ce qu'il faut retenir sur les risques de l'IA en entreprise

  • Sept usages ne se confient jamais seuls à une IA, de la décision sur une personne à la pratique interdite.
  • Le niveau d'autonomie se choisit tâche par tâche, en commençant prudemment.
  • La supervision humaine repose sur des mécanismes concrets : journal, validations, relectures, alertes, interrupteur, tests.
  • RGPD et AI Act fixent le socle : transparence depuis le 2 août 2026, pratiques interdites depuis le 2 février 2025, haut risque à partir du 2 décembre 2027.
  • Les pratiques interdites exposent à jusqu'à 35 millions d'euros ou 7 % du chiffre d'affaires annuel mondial.

Sources

Vous voulez automatiser sans perdre le contrôle ? Présentez-nous la tâche que vous envisagez de confier à l'IA : nous vous proposons le bon niveau d'autonomie et les garde-fous adaptés. Découvrir l'automatisation par l'IA ou demander un devis.

Questions fréquentes.

Quels sont les principaux risques de l'IA pour une PME ?

Les plus fréquents sont les réponses fausses présentées avec assurance, la fuite de données confidentielles saisies dans des outils non maîtrisés, les actions automatiques non vérifiées (envoi, paiement, suppression), la manipulation d'un agent par des instructions cachées dans un document ou un e-mail, et le non-respect du RGPD ou du règlement européen sur l'IA. Tous se réduisent avec des règles simples et une supervision humaine.

L'entreprise est-elle responsable des erreurs de son chatbot ?

Oui, en pratique, vis-à-vis de ses clients. En 2024, un tribunal canadien a jugé Air Canada responsable des informations erronées données par le chatbot de son site sur une politique tarifaire, en refusant l'argument selon lequel le chatbot serait une entité distincte. Une entreprise doit donc contrôler ce que son assistant affirme.

Qu'est-ce que la supervision humaine d'une IA ?

C'est l'ensemble des mécanismes qui permettent à une personne de comprendre, valider, corriger ou arrêter ce que fait un système d'IA : validation avant les actions sensibles, journal des actions, relecture d'échantillons, alertes, transfert vers un humain et possibilité de tout suspendre. Son intensité dépend du risque de la tâche.

Quelles obligations de l'AI Act concernent une TPE ou une PME ?

La plupart des usages courants, comme un chatbot de service client ou un assistant de rédaction, relèvent surtout de la transparence : depuis le 2 août 2026, les personnes doivent savoir qu'elles interagissent avec une IA. S'y ajoutent l'interdiction de certaines pratiques depuis le 2 février 2025 et la maîtrise de l'IA par le personnel. Les obligations lourdes des systèmes à haut risque, comme certains outils de recrutement, s'appliqueront à partir du 2 décembre 2027.

À lire aussi.

Parlons de votre projet.

Réponse rapide et devis détaillé, personnalisé. Sans engagement.