Détecter un contenu généré par IA : ce que valent les détecteurs

Un détecteur de texte IA est un outil séduisant. Vous collez un texte, vous obtenez un pourcentage, et ce pourcentage a l'apparence d'une mesure. « 87 % de probabilité que ce contenu soit généré par une intelligence artificielle » : difficile de faire plus rassurant pour un enseignant qui corrige quarante copies ou pour un recruteur qui lit trois cents lettres de motivation.

Le problème est que ce chiffre n'est pas ce qu'il paraît. Il ne mesure pas une origine, il mesure une ressemblance statistique avec un certain style d'écriture. Et cette ressemblance est partagée par beaucoup de textes parfaitement humains : ceux écrits par des locuteurs non natifs, ceux qui suivent un plan imposé, ceux d'un domaine technique au vocabulaire contraint.

Cet article explique comment ces outils fonctionnent, pourquoi leur taux d'erreur les rend inutilisables comme preuve, ce que valent les approches alternatives par marquage, et quelle politique une organisation peut tenir sans se mettre en difficulté.

Comment fonctionne un détecteur de texte IA

Deux grandes familles de méthodes coexistent, souvent combinées dans le même produit.

La première repose sur des mesures statistiques du texte. L'idée de départ est que le texte produit par un modèle de langage est plus « prévisible » que le texte humain : à chaque position, le mot choisi est très souvent celui que le modèle aurait lui-même classé en tête. On mesure donc deux choses : la perplexité, qui traduit le degré de surprise moyen, et la variabilité de cette surprise d'une phrase à l'autre. Un texte humain alterne des passages banals et des tournures inattendues ; un texte généré tend à rester dans un couloir plus étroit.

La seconde famille entraîne un classifieur sur de grands corpus étiquetés, moitié textes humains, moitié textes générés. Le classifieur apprend des régularités qu'il n'explicite pas, et rend un score. Cette approche est plus performante sur les corpus qui ressemblent à ceux d'entraînement, et se dégrade fortement sur les autres.

Dans les deux cas, la logique reste indirecte. Le détecteur ne sait rien de la provenance du texte : il juge une forme. Si vous voulez comprendre pourquoi cette forme est si régulière, notre article sur le fonctionnement d'un modèle de langage pose les bases nécessaires.

Le problème des faux positifs, en chiffres

Les faux positifs d'un détecteur IA ne sont pas un défaut de jeunesse, ce sont une conséquence structurelle de la méthode. Et leur effet est amplifié par un raisonnement statistique que l'on oublie systématiquement.

Prenons un établissement qui traite 5 000 copies par an. Supposons un détecteur avec un taux de faux positifs annoncé de 1 %, ce qui serait excellent. Supposons également que 10 % des copies soient effectivement générées, et que l'outil en détecte 80 %.

• Copies générées : 500. Détectées : 400.
• Copies humaines : 4 500. Signalées à tort : 45.

Sur 445 copies signalées, 45 sont des accusations infondées. Soit un étudiant sur dix parmi les personnes convoquées. Et ces 45 personnes ne sont pas réparties au hasard : plusieurs travaux académiques ont documenté une sur-représentation des textes écrits par des locuteurs non natifs de l'anglais, dont le vocabulaire plus restreint produit mécaniquement une perplexité plus basse.

Ajoutez que le taux réel de faux positifs, mesuré hors des conditions de laboratoire, est régulièrement bien supérieur à 1 %, et vous obtenez un outil qui produit chaque année des dizaines d'accusations injustes, sans qu'aucune des personnes visées ne dispose d'un moyen de se défendre. Prouver qu'on n'a pas utilisé un outil est en effet impossible.

Les cas où la détection de contenu IA n'a plus aucun sens

Même en acceptant l'imprécision, plusieurs situations courantes rendent la question elle-même mal posée.

• Le texte humain corrigé par un outil. Une personne écrit son texte, puis demande une relecture orthographique et stylistique. Le résultat est majoritairement humain sur le fond et majoritairement machine sur la forme. Aucun score ne peut trancher, parce qu'il n'y a rien à trancher.
• Le texte généré puis réécrit. Deux passages de reformulation manuelle suffisent à faire chuter la plupart des scores. Les personnes qui trichent délibérément sont donc les moins détectées, ce qui inverse complètement l'effet recherché.
• Les écrits professionnels normés. Un compte rendu d'audit, une fiche de procédure, une clause contractuelle : ces textes sont formatés, répétitifs et neutres par exigence métier. Ils déclenchent les détecteurs à peu près systématiquement.
• Les textes courts. En dessous de trois cents mots, la mesure statistique n'a plus de matière. La plupart des éditeurs le reconnaissent dans leur documentation, et la plupart des utilisateurs ne lisent pas cette documentation.

Les alternatives par marquage, et leurs limites

Puisque l'analyse a posteriori est peu fiable, une autre voie consiste à marquer le contenu à la source. Deux approches existent, et il ne faut pas les confondre.

Le tatouage statistique

Le principe : au moment de la génération, le modèle biaise très légèrement son choix de mots selon une clé secrète. Le texte reste naturel pour un lecteur, mais un vérificateur disposant de la clé peut détecter le motif. SynthID, développé par Google DeepMind, applique cette logique au texte, à l'image, à l'audio et à la vidéo.

Les limites sont claires. Le tatouage ne couvre que les contenus produits par les modèles du fournisseur qui l'implémente : un texte issu d'un modèle ouvert exécuté localement ne porte aucune marque. Et sur le texte, le signal résiste mal à une réécriture substantielle, alors qu'il est nettement plus robuste sur l'image ou l'audio.

Les métadonnées de provenance

L'approche portée par la coalition C2PA ne cherche pas à détecter, elle cherche à documenter. Le fichier embarque un historique signé cryptographiquement : quel outil l'a produit, quelles modifications ont suivi. C'est solide, vérifiable, et cela fonctionne bien pour les médias visuels.

Deux limites structurelles : les métadonnées disparaissent dès qu'un fichier est recompressé ou passé par une capture d'écran, et le texte brut n'a tout simplement pas de conteneur pour les porter. L'absence de marque ne prouve donc jamais rien, elle indique seulement qu'on ne sait pas.

Sur le plan réglementaire, le règlement européen sur l'intelligence artificielle pose des obligations de transparence pour certains contenus générés ou manipulés, avec un marquage lisible par machine à la charge des fournisseurs. Cela pousse le marquage à la source, et confirme que la voie de la détection a posteriori n'est pas celle sur laquelle le législateur s'appuie.

Quelle politique tenable pour une organisation

Une organisation confrontée au sujet, école, service RH ou rédaction, peut tenir une position claire en cinq règles.

1. Aucune sanction fondée sur un score. Un résultat de détecteur peut, au mieux, déclencher un échange. Il ne constitue jamais un élément de preuve, et une décision défavorable prise sur cette seule base est indéfendable, y compris juridiquement.
2. Demander la déclaration plutôt que traquer. Une règle simple, du type « indiquez quels outils vous avez utilisés et pour quoi », obtient une information exploitable et coûte zéro euro. Elle suppose que déclarer ne soit pas punitif, sinon personne ne déclare.
3. Déplacer l'évaluation. En contexte scolaire, un oral de dix minutes sur le travail rendu, une production en séance ou l'exigence de fournir les étapes intermédiaires règlent la question mieux que n'importe quel outil. En recrutement, un échange technique remplace avantageusement l'analyse d'une lettre de motivation, exercice dont la valeur discriminante était de toute façon faible avant l'arrivée de ces outils.
4. Écrire ce qui est autorisé. La plupart des tensions viennent d'une règle jamais formulée. Une charte d'usage de l'IA d'une page, qui distingue les usages acceptés, encadrés et interdits, désamorce l'essentiel des situations.
5. Traiter le vrai risque, qui est la fiabilité du contenu. Qu'un texte soit généré ou non importe moins que le fait qu'il contienne des affirmations fausses ou des références inventées. C'est ce contrôle-là qui a une valeur, et il est décrit dans notre article sur les moyens de limiter les hallucinations de l'IA générative.

Une remarque annexe mais utile : la question des droits sur les contenus produits ou assistés par ces outils est distincte de celle de leur détection, et souvent confondue avec elle. Nous l'avons traitée séparément dans notre article sur l'IA et la propriété intellectuelle.

Détecteur de texte IA : la conclusion pratique

Un détecteur de texte IA est un indicateur faible, pas une preuve. Il produit assez de faux positifs pour rendre toute décision automatique injuste, et il est contourné par une simple réécriture, ce qui le rend d'autant moins efficace que la personne est de mauvaise foi.

La position raisonnable consiste donc à ne pas fonder de décision sur ces outils, à demander la déclaration des usages plutôt qu'à les traquer, à adapter les modalités d'évaluation, et à concentrer les contrôles sur ce qui compte vraiment : l'exactitude et la qualité du contenu produit, quelle que soit la main qui l'a écrit.