Les détecteurs d'IA n'échouent pas au hasard. Ils échouent plus souvent sur les personnes qui ont appris l'anglais comme langue seconde, et la raison est structurelle plutôt qu'accidentelle. Si vous faites passer des devoirs, des candidatures ou des copies d'une promotion internationale par un détecteur, c'est le biais à anticiper.
C'est inconfortable à écrire pour une entreprise qui vend de la détection. Nous le publions parce qu'un évaluateur qui ignore ce point prendra de moins bonnes décisions avec notre outil qu'avec aucun outil du tout.
Ce que montre réellement la recherche
Liang et ses collègues ont évalué des détecteurs GPT commerciaux sur deux corpus écrits par des humains : des essais d'élèves américains de 8e année, et des essais TOEFL rédigés par des locuteurs non natifs. Les détecteurs ont classé les essais de 8e année avec une exactitude quasi parfaite. Plus de la moitié des essais TOEFL non natifs ont été classés à tort comme générés par IA.
Chaque texte des deux corpus avait été écrit par une personne. La seule variable qui changeait, c'était qui l'avait écrit. L'étude a été publiée dans Patterns en 2023 et reste la preuve la plus citée sur ce point.
Les détecteurs ne mesuraient pas si une machine avait écrit le texte. Ils mesuraient la manière dont il était écrit.
Pourquoi cela se produit
La plupart des détecteurs de texte se ramènent à une seule question sous-jacente : à quel point cette suite de mots est-elle prévisible ? Le texte généré se situe généralement dans la zone à forte probabilité et faible variance de la distribution d'un modèle de langue. Les détecteurs apprennent à traiter cette zone comme suspecte.
Une écriture soignée en langue seconde vit dans la même zone, pour des raisons totalement différentes. Une personne au vocabulaire actif plus restreint choisit le mot courant. Une personne à qui l'on a enseigné un plan de dissertation formel emploie des connecteurs réguliers et des phrases de longueur homogène. Une personne qui vérifie chaque phrase avant de passer à la suivante produit une prose moins variée qu'un locuteur natif écrivant vite.
L'étude de Liang a testé cela directement : enrichir le choix des mots dans les échantillons non natifs réduisait les erreurs de classification, tandis que simplifier les échantillons natifs les augmentait. Le signal capté, c'est l'étendue linguistique, pas la paternité.
Le même mécanisme explique les autres faux positifs fréquents : documents traduits, prose technique et brouillons lourdement réécrits. Nous traitons le cas général dans pourquoi les détecteurs d'IA signalent l'écriture humaine.
Qui est concerné en pratique
- Les étudiants internationaux. La population déjà la plus surveillée dans les procédures d'intégrité académique, et la moins armée pour contester un argument technique dans une langue seconde.
- Les candidats à l'emploi. Lettres de motivation et CV sont formulaïques par convention et courts par convention : deux risques de faux positif indépendants qui s'ajoutent à celui de la langue.
- Les chercheurs qui publient en anglais. Un anglais académique écrit par des non-natifs, souvent avec aide à la traduction, cumule tous les facteurs à la fois.
- Les équipes support et opérations. Un anglais professionnel standardisé, produit par des équipes distribuées, paraît uniforme à un détecteur.
L'université Vanderbilt a cité ce biais parmi ses raisons de désactiver le détecteur d'IA de Turnitin en août 2023, aux côtés d'un manque de transparence sur le fonctionnement de la détection. Cette décision est une lecture raisonnable des preuves, pas une réaction excessive.
Si vous évaluez les écrits d'autrui
- Ne lancez pas la détection comme un filtre systématique. Scorer chaque copie et remonter le haut de la liste concentre vos erreurs sur les auteurs de langue seconde, par construction.
- Fixez un seuil de longueur. Les échantillons courts produisent du bruit. Une lettre de motivation de 400 mots n'est pas un document que l'on peut scorer de façon responsable.
- Lisez les phrases signalées. Demandez-vous si les segments surlignés sont des ouvertures et transitions formulaïques, empreinte d'un plan appris, ou le cœur de l'argumentation.
- Posez des questions de processus, pas des questions de langue. Brouillons, sources, notes et une explication de l'argument sont des preuves qu'un score ne peut pas produire. « Ça ne te ressemble pas » n'en est pas une.
- Ne laissez jamais un score fonder seul une sanction. C'est la règle qui rend le reste du processus tenable quand le détecteur se trompe.
Pour la version scolaire de ce processus, voir la détection d'IA à l'école et le guide pour enseignants. Pour le recrutement, voir recruteurs.
Si votre propre écrit a été signalé
Demandez les passages précis plutôt que de discuter le pourcentage. Expliquez comment ces phrases ont été écrites : la source que vous résumiez, le plan dont vous êtes parti, la formulation qu'on vous a appris à employer. Montrez l'historique de versions, les brouillons ou les notes si vous les avez.
Ne faites pas passer le texte dans un humaniseur pour faire baisser le score. Cela modifie l'écriture dont on vous demande de rendre compte, et cela ressemble à une dissimulation si le changement est remarqué. Le processus complet est dans accusé à tort d'avoir utilisé l'IA : que faire.
Ce que cela implique pour IA Checker
Nous ne pouvons pas prétendre avoir résolu ce problème. Aucun détecteur travaillant sur le seul texte ne l'a fait. Ce que nous pouvons faire, c'est refuser de le masquer : rapporter des preuves phrase par phrase discutables, conserver un état incertain plutôt que de forcer un verdict binaire, refuser les conclusions fortes sur les échantillons courts, et auditer les faux positifs sur l'écriture non native séparément plutôt qu'au sein d'un agrégat.
La couverture linguistique de la littérature d'évaluation publique est inégale : MULTITuDE, l'un des plus grands corpus multilingues de détection, couvre onze langues et n'inclut pas le français. Tout détecteur affirmant une performance uniforme entre langues affirme quelque chose que personne n'a mesuré. Le détecteur IA rapporte des indicateurs, et une personne reste dans la décision.
Sources
- Liang, Yuksekgonul, Mao, Wu et Zou — GPT detectors are biased against non-native English writers (prépublication)
- La même étude dans Patterns, Cell Press (2023)
- Université Vanderbilt — Guidance on AI detection and why we're disabling Turnitin's AI detector (août 2023)
- Macko et al. — MULTITuDE : corpus multilingue d'évaluation de la détection de texte généré