Comment fonctionne la détection d'IA : signaux, scores et limites

Un détecteur d'IA ne voit jamais l'écriture se faire. Il reçoit une chaîne de texte terminée et estime à quel point elle correspond à la manière dont les modèles de langue produisent du texte. Tout ce qu'un détecteur peut et ne peut pas faire découle de cette seule contrainte.

Cet article explique les mécanismes réellement employés, ce que chacun mesure, et pourquoi le plafond de précision est structurel plutôt qu'une question d'effort d'ingénierie.

L'idée centrale : la prévisibilité

Un modèle de langue génère du texte en choisissant de façon répétée un token suivant probable. Selon les réglages de décodage, il tend à choisir des tokens haut placés dans son propre classement de probabilité. Le résultat est une prose statistiquement moins surprenante que l'écriture humaine du même genre.

L'écriture humaine est plus irrégulière. Les gens changent de registre en milieu de paragraphe, attrapent un mot inattendu, laissent une phrase courte, se répètent, et font des choix qu'un modèle aurait jugés improbables. Les détecteurs sont bâtis sur cet écart.

La conséquence est immédiate : tout ce qui aplanit l'irrégularité d'une personne — un plan de dissertation appris, une passe de traduction, une écriture soignée en langue seconde, une réécriture lourde — rapproche ce texte de la zone que le détecteur traite comme machinique. Ce n'est pas un défaut d'implémentation chez un éditeur. C'est ce que la mesure est.

Les quatre familles de signaux

Tout détecteur sérieux combine un sous-ensemble de ces familles. Elles échouent de manières différentes, ce qui est le principal argument pour en utiliser plusieurs.

1. Probabilité et rang des tokens. L'approche la plus ancienne : noter chaque token selon sa probabilité sous un modèle de langue de référence. GLTR l'a rendue visible en colorant les tokens par rang, et son étude rapporte que fournir cette visualisation aux lecteurs a fait passer leur propre taux de détection de 54 % à 72 %. C'est un outil pour montrer des indices, pas un classifieur. La perplexité brute seule est un signal fragile : elle dépend du modèle de référence retenu et varie avec la langue, le domaine et l'étendue linguistique de l'auteur — c'est exactement ainsi qu'elle devient un indicateur d'aisance plutôt que de paternité.

2. Méthodes de courbure et de contraste. DetectGPT part d'une observation plus fine : les sorties d'un modèle tendent à se situer dans des régions de courbure négative de sa fonction de log-probabilité. Il perturbe le passage et compare les scores, sans données d'entraînement — mais il lui faut le modèle de scoring, un modèle de perturbation et plusieurs passes d'inférence par document. Fast-DetectGPT remplace la perturbation par un échantillonnage conditionnel et rapporte une forte accélération dans son propre protocole. Binoculars contraste la perplexité d'un modèle avec l'entropie croisée fournie par un second modèle proche. Les deux sont zero-shot ; les deux exigent l'accès aux logits, donc une vraie inférence GPU plutôt qu'un navigateur ou une fonction edge.

3. Classifieurs entraînés. Un classifieur supervisé apprend la différence à partir d'exemples annotés. Ghostbuster combine les caractéristiques de plusieurs modèles de langue plus faibles avant un classifieur final, et ne requiert pas les probabilités du générateur cible. Cette famille performe au mieux quand les données de test ressemblent aux données d'entraînement, et généralise mal aux générateurs, domaines et attaques inconnus. Cette réserve compte davantage que les scores affichés : un classifieur entraîné avant la sortie d'un modèle n'a jamais vu la façon d'écrire de ce modèle.

4. Caractéristiques stylométriques et structurelles. Variation de longueur des phrases, enchaînements de connecteurs, parallélismes syntaxiques, ouvertures répétées, listes mécaniquement régulières, vocabulaire formulaïque. Ces signaux sont faibles isolément et faciles à contourner, mais ce sont les seuls capables d'expliquer un résultat avec des mots qu'un lecteur peut vérifier. Aucun mot, aucun signe de ponctuation, aucun cadratin ne prouve quoi que ce soit : affirmer qu'un seul caractère démontre une paternité IA relève du folklore.

Des signaux au score

Les signaux pris isolément ne sont pas des probabilités lisibles par un utilisateur. Les transformer en score demande deux étapes supplémentaires, généralement invisibles, et généralement là où se joue la différence de qualité.

L'agrégation. Un méta-modèle combine les sorties des modules. Rien ne doit produire un verdict seul, et un modèle génératif à qui l'on demande « est-ce que cela ressemble à de l'IA ? » est une caractéristique faible, pas une source de vérité.

La calibration. Le score combiné doit être converti en chiffre rapporté séparément par langue et par tranche de longueur, parce qu'un score brut ne signifie pas la même chose sur un CV de 200 mots et sur un mémoire de 3 000 mots. Les seuils doivent être choisis à taux de faux positifs fixé — ce que fait le protocole du benchmark RAID — plutôt qu'à précision maximale, car la précision maximale achète discrètement de la justesse sur le texte généré au prix d'erreurs contre des personnes réelles.

Un détecteur bien construit a donc trois sorties, pas deux : plutôt humain, incertain, et compatible avec une génération IA. Un outil qui ne dit jamais « incertain » n'est pas plus sûr de lui ; il masque la zone intermédiaire.

Pourquoi l'attribution par phrase est un autre problème

Un score documentaire ne se recopie pas simplement sur chaque phrase. Les documents mixtes — un brouillon humain avec des paragraphes générés, ou du texte généré qu'une personne a réécrit — mettent en échec les méthodes documentaires, et SeqXGPT construit un modèle dédié au niveau phrase précisément parce que l'approche documentaire ne se décompose pas.

C'est pourquoi le libellé honnête d'un segment surligné est « passage à examiner », et non « écrit par IA ». Le surlignage vous dit d'où vient le score. Il n'attribue pas une phrase à une machine. C'est ce cadrage dont dépend la lecture d'un score de détection.

Le filigrane : réel, et rarement disponible

Le filigrane est la seule méthode qui ne relève pas de l'estimation statistique. Le générateur biaise sa propre sélection de tokens selon une clé, et un détecteur détenant cette clé peut tester la présence du motif. SynthID-Text, de Google DeepMind, est une mise en œuvre en production de la même idée.

Le piège, c'est que cela ne fonctionne que si le générateur a appliqué le filigrane et si vous disposez du détecteur correspondant. Il n'existe pas de filigrane universel, aucun moyen de vérifier si un document porte « un filigrane IA quelconque », et la robustesse se dégrade sous paraphrase — l'étude de fiabilité qui a suivi rapporte qu'il faut environ 800 tokens à un taux de faux positifs de 10⁻⁵ après une paraphrase humaine appuyée.

Sans protocole ni clé, la bonne réponse d'un module de provenance est « non vérifiable ». Tout le reste est une supposition déguisée en certificat.

Pourquoi il existe un plafond

Deux résultats encadrent tout le domaine. Le premier est empirique : Sadasivan et ses collègues ont montré que la paraphrase récursive met en échec un large éventail de détecteurs, y compris ceux à filigrane et ceux fondés sur la recherche documentaire. Le second est théorique : à mesure que la distribution du texte généré se rapproche de celle du texte humain, la performance atteignable par n'importe quel détecteur travaillant sur le seul texte se dégrade vers le hasard.

De meilleurs modèles rendent la détection structurellement plus difficile, pas plus facile. C'est l'inverse du comportement de la plupart des problèmes logiciels, et c'est pourquoi « la détection va s'améliorer jusqu'à devenir fiable » n'est pas une hypothèse sûre pour bâtir une politique.

Les évaluations larges vont dans le même sens. RAID couvre des millions de générations sur plusieurs modèles, domaines, stratégies de décodage et attaques adverses, et rapporte des échecs dès que l'une de ces dimensions change.

Ce que cela implique pour l'usage d'un détecteur

L'affirmation défendable est étroite et mérite d'être énoncée exactement : un détecteur mesure des motifs compatibles avec une génération par IA, et montre pourquoi ils ont été signalés. Il ne prouve pas la paternité, n'identifie pas quel modèle a écrit un texte, et ne produit pas un pourcentage fiable de mots écrits par IA.

Utilisée ainsi — comme un tri qui indique à une personne où regarder — la détection est réellement utile. Utilisée comme un verdict, elle convertit un taux d'erreur connu en décisions sur des personnes. Voir quelle est vraiment la précision des détecteurs d'IA pour les chiffres, et pourquoi les détecteurs signalent l'écriture humaine pour les modes d'échec. Ouvrez ensuite le détecteur IA et lisez les passages, pas seulement le pourcentage.

Comment fonctionne vraiment la détection d'IA