Précision des détecteurs d'IA : ce que disent les chiffres publiés

Tous les détecteurs d'IA affichent un chiffre de précision. Presque aucun ne publie les deux éléments qui le rendraient exploitable : le taux de faux positifs, et le corpus sur lequel le chiffre a été mesuré. Cet article porte sur ce que ces chiffres peuvent, et ne peuvent pas, vous apprendre avant d'agir sur un score.

Pour la version courte, voir quelle est la précision des détecteurs d'IA. Ce qui suit, ce sont les preuves derrière cette réponse.

Ce qu'un chiffre unique dissimule

La « précision » est la part de documents qu'un détecteur a classés correctement sur un jeu de test particulier. Elle fusionne deux erreurs aux coûts totalement différents. Manquer un texte généré est un désagrément. Étiqueter comme IA l'écriture d'une personne peut coûter une note, une candidature ou une réputation.

Ces deux erreurs varient aussi en sens inverse. Abaissez le seuil et vous attrapez davantage de texte généré tout en signalant davantage d'humains. Relevez-le et vous protégez les auteurs tout en manquant davantage de production machine. Un éditeur peut choisir le point qui flatte le plus son titre : un pourcentage isolé ne dit donc rien de la position réelle de l'outil.

Un chiffre sans taux de faux positifs est un argument marketing. Un taux de faux positifs sans corpus décrit est une affirmation sur un seul jeu de test.

À quoi ressemblent les chiffres publiés

Le chiffre le plus instructif vient d'OpenAI. Son propre classifieur de texte IA identifiait correctement 26 % des textes écrits par IA comme probablement générés, et signalait à tort de l'écriture humaine dans 9 % des cas. OpenAI a retiré l'outil le 20 juillet 2023 en invoquant son manque de précision, et notait qu'il était peu fiable en dessous d'environ 1 000 caractères.

Le laboratoire qui connaît le mieux la façon d'écrire de ses propres modèles a livré un détecteur, l'a mesuré, et l'a retiré. C'est la référence honnête à laquelle comparer toute annonce à 99 %.

Des établissements ont fait le calcul dans l'autre sens. L'université Vanderbilt a désactivé son détecteur d'IA Turnitin le 16 août 2023, en soulignant qu'avec le taux de faux positifs de 1 % annoncé au lancement, les quelque 75 000 copies qu'elle avait soumises en 2022 auraient produit environ 750 copies d'étudiants signalées à tort. Un taux qui paraît négligeable par document ne l'est plus à l'échelle d'un établissement.

Pourquoi un chiffre de benchmark ne se transfère pas

La performance de détection se mesure dans des conditions données. Changez les conditions et le chiffre change avec elles. Les variables qui déplacent le plus les résultats sont justement celles que vous ne maîtrisez pas quand un vrai document arrive sur votre bureau :

Le générateur. Un détecteur calibré sur une famille de modèles se dégrade à la version suivante.
Le domaine. Prose journalistique, dissertations, CV et e-mails de support se comportent différemment.
La longueur. Les échantillons courts portent trop peu de signal pour qu'une méthode sépare de façon fiable.
La langue. L'évaluation publiée est très majoritairement anglophone ; la calibration par langue est rarement rapportée.
La réécriture postérieure. Paraphrase, traduction et correction grammaticale éloignent toutes un document de la distribution sur laquelle le détecteur a été mesuré.

Les grandes évaluations le rendent concret. Le benchmark RAID couvre des millions de générations sur plusieurs modèles, domaines, stratégies de décodage et attaques adverses, et il fixe le taux de faux positifs avant de comparer les détecteurs, précisément parce que comparer des précisions brutes à des points de fonctionnement différents n'a pas de sens. Une évaluation hors distribution de plusieurs détecteurs zero-shot et supervisés rapporte des taux de vrais positifs à 1 % de faux positifs qui s'effondrent vers 0 % dans certains scénarios.

Rien de cela ne rend la détection inutile. Cela rend inutile une annonce de précision sortie de son contexte.

Qui paie les erreurs

Les taux d'erreur ne se répartissent pas uniformément entre les auteurs. Liang et ses collègues ont évalué des détecteurs GPT commerciaux sur deux corpus humains et trouvé que plus de la moitié des essais TOEFL rédigés par des locuteurs non natifs étaient classés à tort comme générés par IA, alors que les essais d'élèves américains de 8e année l'étaient presque parfaitement.

Un chiffre agrégé efface cela par moyenne. Les personnes les plus susceptibles d'être signalées à tort sont les moins susceptibles d'apparaître dans le chiffre qu'un éditeur met en avant. Nous traitons ce point séparément dans pourquoi les détecteurs d'IA signalent les non-anglophones.

Ce que contient une divulgation crédible

Vous n'avez pas besoin de mener votre propre benchmark pour évaluer l'annonce d'un éditeur. Demandez six choses, et considérez leur absence comme la réponse :

Le taux de faux positifs, indiqué à côté du chiffre de précision.
Le corpus : taille, langues, genres, et date de constitution.
Quels générateurs ont produit les échantillons IA, et dans quelles versions.
Comment sont traités les documents courts : un seuil, ou un état d'abstention.
Si le seuil a été choisi à taux de faux positifs fixé.
Si l'écriture non native a été auditée séparément.

IA Checker publie une campagne de régression datée sur la page détecteur IA, avec la taille de corpus et ses limites dans le même bloc que les chiffres. Elle est volontairement modeste : un contrôle entre versions de modèle, pas une annonce de précision globale. Nous préférons montrer un petit chiffre mesuré avec ses limites plutôt qu'un grand chiffre sans elles.

Comment utiliser un score une fois obtenu

Traitez le pourcentage comme un renvoi vers des passages, pas comme un verdict. Lisez les segments surlignés. Demandez-vous s'il s'agit d'introductions toutes faites ou du cœur analytique de l'argumentation. Comparez à des écrits antérieurs de la même personne quand c'est possible. Attendez-vous à ce que deux outils sérieux se contredisent sur le même document : ils mesurent des choses différentes sur des corpus différents.

Gardez ensuite une personne responsable de la décision. Un détecteur réduit le périmètre à examiner ; il n'établit pas qui a écrit le texte. Voir comment lire un score de détection IA pour la méthode de lecture, et pourquoi les détecteurs signalent l'écriture humaine pour les modes d'échec.

Quelle est vraiment la précision des détecteurs d'IA ?