Wheatley, Amanda, y Sandy Hervieux. «Comparing generative artificial intelligence tools to voice assistants using reference interactions».
The Journal of Academic Librarianship 50, n.o 5 (1 de septiembre de 2024): 102942.
https://doi.org/10.1016/j.acalib.2024.102942.
El estudio compara la capacidad de los asistentes de voz y las herramientas de inteligencia artificial generativa para responder a preguntas de referencia que tradicionalmente reciben los bibliotecarios académicos. Los autores crearon una muestra de 25 preguntas basadas en consultas reales recibidas a través del servicio de referencia virtual de su institución. Luego, elaboraron una rúbrica para evaluar la calidad de las respuestas proporcionadas por estas herramientas impulsadas por IA.
Para responder a las preguntas de investigación, los autores crearon 25 preguntas de referencia basadas en consultas recibidas a través del servicio de referencia virtual de la biblioteca de su universidad. Luego, plantearon estas preguntas a los asistentes de voz y a dos versiones de ChatGPT, registrando las respuestas en una hoja de cálculo.
Los resultados muestran que las herramientas comprenden bien las preguntas de referencia y ofrecen respuestas relevantes, pero la calidad de las referencias proporcionadas y la precisión de las respuestas pueden ser insuficientes.
Uno de los problemas principales es que algunas herramientas no proporcionan referencias o estas son de baja calidad. Los asistentes de voz, como Google Assistant, Siri y Alexa, destacaron en este aspecto, con Google Assistant ofreciendo las mejores respuestas en términos de relevancia, precisión y calidad de las referencias. Esto se debe a que los asistentes de voz buscan en internet en lugar de depender de modelos de lenguaje masivo, lo que reduce el riesgo de citar fuentes falsas. ChatGPT, por su parte, tiene problemas conocidos de "alucinaciones" y citas falsas o inexistentes, lo cual es preocupante para los profesionales de la información.
Aunque estas herramientas pueden ofrecer respuestas relevantes y precisas, ninguna iguala la calidad que un bibliotecario académico podría brindar. Google Assistant fue el que más se acercó, con un 40 % de sus respuestas siendo recomendadas por un bibliotecario, mientras que ChatGPT falló en más del 50 % de los casos.
En términos generales, Google Assistant fue la herramienta que mejor respondió a las preguntas de referencia, seguido por Alexa y Siri. Aunque las herramientas de IA generativa como ChatGPT comprenden bien las preguntas, sus respuestas carecen de la precisión y la autoridad necesarias para competir con los asistentes de voz en este contexto.
El estudio concluye que, si bien los asistentes de voz y herramientas como ChatGPT pueden ser útiles para iniciar una investigación, deben utilizarse en combinación con los servicios tradicionales de referencia. El uso de IA generativa puede ser más adecuado para tareas como la lluvia de ideas o la explicación de conceptos, en lugar de responder preguntas de referencia de manera fiable. El estudio también sugiere que futuras investigaciones podrían explorar cómo las herramientas de IA pueden colaborar con los bibliotecarios para mejorar los servicios de referencia.
No hay comentarios:
Publicar un comentario