Jak czytać wynik detekcji AI

Wynik detekcji jest szacunkiem, nie dowodem autorstwa. Oto jak czytać liczbę, fragmenty, które ją tworzą, i przypadki, w których nie powinna decydować samodzielnie.

Ilustracja detektora tekstu AI podświetlającego fragmenty i wyświetlającego wynik prawdopodobieństwa AI
Na tej stronie
  1. Co mierzy liczba
  2. Poziomy, wyniki mieszane i niepewność
  3. Ile tekstu potrzebujesz
  4. Odpowiedzialne używanie wyników
  5. Ograniczenia, które warto pamiętać

Wynik detekcji AI jest szacunkiem tego, w jakim stopniu fragment przypomina wzorce typowe dla generowanego tekstu. To nie jest werdykt dotyczący tego, kto napisał dokument, jakiego modelu użyto, ani czy użycie AI było w danym kontekście dozwolone.

Czytaj wynik jak zakreślacz: przydatny do wskazywania miejsc, które zasługują na drugie spojrzenie, bezużyteczny jako zamiennik przeczytania samej pracy.

Co mierzy liczba

Większość detektorów łączy sygnały stylometryczne lub oparte na modelach: regularny rytm, wąski zakres interpunkcji, gotowe przejścia, przewidywalna struktura akapitów. Każdy produkt waży te sygnały inaczej, więc dwa narzędzia mogą się różnić na tym samym akapicie, choć żadne z nich nie jest „zepsute”.

Wysoki odczyt AI oznacza, że tekst przypomina wiele wygenerowanych próbek, które system już widział. Niski odczyt oznacza, że przypomina bardziej ludzką stronę tej mieszanki treningowej. Żaden z tych wyników nie identyfikuje autora.

Poziomy, wyniki mieszane i niepewność

Przydatny raport robi więcej niż wyświetla jeden procent. Odróżnia fragmenty wyraźnie skłonne do AI od mieszanych lub skłonnych do człowieka, i przyznaje niepewność, gdy próbka jest krótka lub sygnały się zaprzeczają.

W IA Checker obszar pracy wyświetla główny odczyt i wskazówki na poziomie zdania, żebyś widział/widziała, co wyprodukowało wynik. Wyniki hybrydowe są normalne w edytowanych szkicach, wspólnym pisaniu i tekstach, które zaczęły się jako AI, a potem zostały przepisane przez osobę.

Jeśli narzędzie nie może Ci pokazać, które zdania się liczyły, nawigujesz w ciemności z jedną liczbą.

Ile tekstu potrzebujesz

Krótkie próbki są zaszumione. Akapit może wystarczyć, żeby wzbudzić wątpliwość; rzadko wystarczy, aby uzasadnić decyzję o wysokiej stawce. Preferuj całą sekcję lub dokument, i zachowaj ostrożność, gdy jedynym dostępnym tekstem jest bio, temat e-maila lub notatka towarzysząca licząca trzy zdania.

Import plików pomaga, gdy źródłem jest PDF lub dokument Word, ale jakość ekstrakcji wciąż decyduje. Zeskanowane strony i nieporządne układy mogą zmienić to, co detektor rzeczywiście widzi. Zobacz ile tekstu potrzebujesz i narzędzia do ekstrakcji PDF, gdy szkic jest wciąż zamknięty w pliku.

Odpowiedzialne używanie wyników

  1. Przeczytaj podświetlone fragmenty przed działaniem na podstawie wyniku.
  2. Porównaj wynik z dowodami procesu: szkice, notatki, źródła.
  3. Oczekuj niezgody między detektorami w przypadkach granicznych.
  4. Nie traktuj nazwy modelu w nagłówku jako wyniku atrybucji.
  5. Zachowaj osobę odpowiedzialną za ostateczną decyzję.

Fałszywe trafienia są wystarczająco częste, żeby szkoły i zespoły rekrutacyjne potrzebowały ścieżki eskalacji. Nasz przewodnik o tym, dlaczego detektory oznaczają ludzkie teksty, wyjaśnia, czemu ludzki tekst zostaje oznaczony i co sprawdzić dalej.

Ograniczenia, które warto pamiętać

Detekcja nie dowodzi użycia ChatGPT. Nie przetrwa każdego przepisania. Słabnie na tekstach nieanglojęzycznych, dokumentach z dużą ilością kodu i bardzo krótkich próbkach. IA Checker publikuje mały datowany test regresyjny na stronie Detektor AI, żeby ograniczenia zostały przy produkcie, a nie w przypisie, którego nikt nie otwiera.

Po jednozdaniową wersję tego artykułu zobacz co oznacza wynik detekcji AI.