Sesgo cultural y detección de IA
En QuillBot, estamos comprometidos con el uso ético de la inteligencia artificial en la educación. Por este motivo, nos ha llamado la atención un estudio reciente sobre la falta de fiabilidad de siete detectores de IA muy utilizados (Liang et al., 2023).
A continuación, profundizamos algo más en el asunto.
Resumen del estudio
Los investigadores de este estudio probaron siete detectores de GPT para ver cómo clasificaban redacciones o ensayos que habían sido escritos por hablantes nativos y no nativos de inglés.
- Los investigadores recogieron redacciones escritas por hablantes de inglés no nativos (para el examen TOEFL, una prueba sobre el conocimiento y dominio del idioma inglés) y redacciones escritas por hablantes de inglés nativos de 8.º curso (de un curso académico regular en EE. UU.).
- Todas las redacciones fueron analizadas por los detectores de GPT. En general, los detectores supieron clasificar correctamente las redacciones de hablantes nativos de inglés como redacciones escritas y generadas por humanos. Sin embargo, clasificaron erróneamente más de la mitad de las redacciones escritas por hablantes no nativos como redacciones generadas por IA.
- A continuación, los investigadores utilizaron la IA para modificar las redacciones.
- Cuando se utilizó ChatGPT para mejorar el vocabulario de las redacciones de la prueba TOEFL, los detectores tendieron a clasificar con menos frecuencia los textos como textos generados por IA.
- Cuando se utilizó ChatGPT para simplificar el vocabulario de las redacciones correspondientes al 8.º curso de un curso académico regular en EE. UU., los detectores identificaron con mayor frecuencia que los textos habían sido generados por IA.
Los detectores de IA se basan en medidas de predictibilidad del texto. Como las personas que están estudiando un idioma extranjero (en este caso inglés) suelen tener una escritura más simple y menos elaborada y, por tanto, más predecible que la de los hablantes nativos de un idioma, es más probable que los detectores la identifiquen con más facilidad.
¿Por qué este descubrimiento resulta importante?
Este estudio confirma lo que muchos estudiantes y educadores ya habían experimentado: los detectores de IA tradicionales tienen un sesgo en contra de la escritura de los estudiantes de una lengua extranjera (en este caso el inglés).
El mal funcionamiento de los detectores de IA puede tener graves consecuencias para estudiantes y académicos, ya que muchas escuelas y organizaciones los utilizan para imponer normas contra el uso de contenidos generados por IA.
Millones de estudiantes de lengua inglesa escriben en inglés con una gran variedad de objetivos. A menudo, utilizan herramientas para parafrasear textos y corregir la ortografía y la gramática de forma ética. Actualmente, estos estudiantes corren el riesgo de recibir acusaciones injustas por falta de honradez y de enfrentarse a sus posibles repercusiones.
La respuesta de QuillBot: un mejor detector de IA
Las herramientas de IA han llegado para quedarse, al igual que la demanda de detectores de IA que sean fiables. Así que, para ayudar a estudiantes y educadores, hemos mejorado nuestro detector de IA. Esta herramienta detecta la IA de manera precisa y con una gran calidad sin penalizar el uso ético de las herramientas de IA.
El detector de IA de QuillBot tiene muchas ventajas sobre sus competidores:
- Se diseñó teniendo en cuenta a los escritores y funciona tanto para estudiantes como para educadores.
- Proporciona un análisis en profundidad del texto que distingue claramente entre el texto generado por IA y el texto perfeccionado mediante IA. Esta diferencia ayuda a evitar falsos positivos y sesgos contra los estudiantes de inglés no nativos que utilizan las herramientas de escritura de forma ética.
- Es gratuito, por lo que se ha eliminado la barrera de acceso.
Estamos encantados de establecer un nuevo estándar en la detección de IA que funcione para todos los escritores.
Referencia
Liang, Weixin, et al. “GPT detectors are biased against non-native English writers”. Patterns, vol. 4, n.º 7, julio de 2023, p. 100779. https://doi.org/10.1016/j.patter.2023.100779.
