Edwards, Benj. "Why AI Detectors Think the US Constitution Was Written by AI." Ars Technica, 12 de julio de 2023. https://arstechnica.com/information-technology/2023/07/why-ai-detectors-think-the-us-constitution-was-written-by-ai/
Si introduces el documento legal más importante de Estados Unidos, la Constitución de los Estados Unidos, en una herramienta diseñada para detectar texto escrito por modelos de IA como ChatGPT, te dirá que el documento fue escrito casi con toda seguridad por una IA.
Por muy tentador que resulte confiar en las herramientas de IA para detectar textos generados por IA, las pruebas hasta ahora han demostrado que no son fiables. Debido a los falsos positivos, no se puede confiar en los detectores de escritura de IA como GPTZero, ZeroGPT y Text Classifier de OpenAI para detectar textos compuestos por grandes modelos de lenguaje (LLM) como ChatGPT.
En el estudio se analiza cómo los detectores de escritura con inteligencia artificial (IA) clasifican erróneamente documentos históricos, como la Constitución de los Estados Unidos, como si fueran generados por IA. Este fenómeno se debe a que los modelos de IA entrenados en grandes volúmenes de texto, incluidos documentos históricos, pueden identificar patrones en el lenguaje que coinciden con los estilos de escritura de la IA. Como resultado, estos detectores generan falsos positivos al identificar textos auténticos como generados por IA.
En cuanto a los detectores específicos que han mostrado estas limitaciones, el artículo de Ars Technica menciona que herramientas como GPTZero han sido criticadas por su falta de precisión, calificándolas de "mayoría de las veces engañosas".
El artículo destaca que este problema subraya las limitaciones de los detectores de IA actuales, que a menudo carecen de la capacidad para contextualizar el origen y la autenticidad de un texto. La incapacidad de estos sistemas para distinguir entre textos históricos genuinos y aquellos generados por IA plantea preocupaciones sobre su fiabilidad en aplicaciones prácticas. Además, se señala que la dependencia excesiva de estos detectores podría llevar a conclusiones erróneas y decisiones injustas en entornos educativos y profesionales.
Edwards concluye que, aunque los detectores de IA pueden ser herramientas útiles, su implementación debe ser cuidadosa y acompañada de una evaluación crítica para evitar malentendidos y garantizar su eficacia en la identificación precisa de contenido generado por IA.
No hay comentarios:
Publicar un comentario