Kultureller Bias und KI-Erkennung
Bei QuillBot setzen wir uns für den ethischen Einsatz künstlicher Intelligenz in der Bildung ein.
Daher hat eine kürzlich durchgeführte Studie zur Unzuverlässigkeit von sieben weit verbreiteten KI-Detektoren (Liang et al., 2023) unser Interesse geweckt.
Unsere Erkenntnisse findest du weiter unten.
Zusammenfassung der Studie
Die Forschenden testeten sieben KI-Detektoren, um zu prüfen, wie Aufsätze von Muttersprachlern und Nicht-Muttersprachlern des Englischen eingeordnet werden.
- Die Forschenden sammelten Aufsätze von Nicht-Muttersprachlern des Englischen (für den TOEFL-Test, einen standardisierter Sprachtest) und Aufsätze von englischen Muttersprachlern der 8. Klasse.
- Die Aufsätze wurden anhand der KI-Detektoren geprüft. Die KI-Detektoren ordneten die Aufsätze von englischen Muttersprachlern im Allgemeinen korrekt als von Menschen geschrieben ein. Über die Hälfte der Aufsätze von Nicht-Muttersprachlern wurde hingegen fälschlicherweise als KI-generiert eingestuft.
- Anschließend veränderten die Forschenden die Aufsätze mithilfe von KI.
- Wenn ChatGPT verwendet wurde, um das Vokabular der TOEFL-Aufsätze zu erweitern, war es weniger wahrscheinlich, dass die KI-Detektoren die Texte als KI-generiert kennzeichneten.
- Wenn ChatGPT verwendet wurde, um das Vokabular der Aufssätze der Achtklässler zu vereinfachen, war es wahrscheinlicher, dass die KI-Detektoren die Texte als KI-generiert kennzeichnen.
KI-Detektoren prüfen Texte, indem sie untersuchen, wie vorhersagbar ein Text ist.
Englischlernende schreiben in der Regel weniger komplexe und somit vorhersehbarere Text als Muttersprachler. Deshalb werden die Texte von Englischlernenden von KI-Detektoren eher als KI-generiert gekennzeichnet.
Warum ist das relevant?
Die Studie bestätigt, was viele Schüler, Schülerinnen und Lehrkräfte bereits erlebt haben: Gewöhnliche KI-Detektoren weisen einen Bias gegenüber Nicht-Muttersprachlern auf.
Die Unzuverlässigkeit von KI-Detektoren kann schwerwiegende Folgen für Schüler, Schülerinnen und Forschende haben, da sie an vielen Schulen und Hochschulen verwenden werden, um Regeln gegen die Verwendung von KI durchzusetzen.
Millionen Englischlernende schreiben aus unterschiedlichsten Gründen auf Englisch und nutzen dabei oft Tools zum erstellen von Paraphrasen und zur Prüfung ihrer Grammatik auf eine ethisch korrekte Art und Weise. Zurzeit riskieren sie, zu Unrecht der Unehrlichkeit beschuldigt zu werden und die Folgen davon zu tragen.
Die Antwort von Quillbot: ein zuverlässiger KI-Detektor
KI-Tools werden ein fester Teil unserer Lebenswirklichkeit im 21. Jahrhundert bleiben und deshalb gibt es eine Nachfrage nach zuverlässiger KI-Erkennung.
Wir haben einen besseren KI-Detektor entwickelt, der eine hochwertige, präzise KI-Erkennung bietet, ohne den ethischen Einsatz von KI-Tools zu bestrafen. So möchten wir Schüler, Schülerinnen und Lehrkräfte unterstützen.
Der KI-Detektor von Quillbot bietet viele Vorteile gegenüber herkömmlichen Tools:
- Er wurde mit Blick auf die Schreibenden entworfen und funktioniert sowohl für Schüler und Schülerinnen als auch für Lehrkräfte.
- Er bietet eine tiefgehende Analyse des Textes, die deutlich zwischen mit KI generierten und mit KI verfeinerten Texten unterscheidet. Dadurch wird der Bias gegenüber Nicht-Muttersprachlern, die KI-Tools ethisch nutzen, vermieden.
- Er ist kostenlos, sodass die Zugangsbarriere wegfällt.
Wir freuen uns, hierdurch einen neuen Standard in der KI-Erkennung zu setzen, der für alle Schreibenden funktioniert.
Referenz
Liang, Weixin, et al. “GPT detectors are biased against non-native English writers.” Patterns, vol. 4, no. 7, Juli 2023, p. 100779. https://doi.org/10.1016/j.patter.2023.100779.
