IA o buscadores de internet tradicionales: ¿qué es más fiable?

Nos encontramos inmersos en una nueva revolución tecnológica que puede acabar con los buscadores tradicionales de internet tal como los conocemos, en favor de los chatbots de inteligencia artificial como ChatGPT, Google Gemini o Microsoft Copilot, por citar solo algunos.

Ante ese escenario surgen una infinidad de dudas, pero una de ellas tiene que ver con la fiabilidad de las respuestas y resultados que nos ofrecen.

Ahora, un nuevo estudio del Centro Singular de Investigación en Tecnoloxías Intelixentes de la Universidad de Santiago de Compostela (CiTIUS) trata de arrojar luz sobre esa cuestión.

Salud, pero no solo salud

Según ese trabajo, centrado en preguntas relacionadas con la salud pero cuyos resultados pueden ser extrapolables a otras materias, los motores de búsqueda tradicionales ofrecen entre un 60 y un 70% de respuestas correctas en sus primeros 20 resultados, mientras que los modelos de IA estudiados presentaron "una tasa superior", entre el 80% y el 90%.

Con todo, los autores del estudio, publicado en la revista científica NPJ Digital Medicine (grupo Nature), advierten sobre las famosas alucinaciones: las respuestas de IA "pueden incurrir en un problema característico de este tipo de sistemas", "la generación de respuestas falsas expresadas con gran seguridad".

La investigación

La publicación analiza el grado de veracidad de las respuestas que se obtienen en internet ante dudas relacionadas con la salud a partir de una muestra de buscadores web y modelos de IA para analizar el comportamiento de estos sistemas ante las consultas médicas realizadas por el público general.

El estudio ha evaluado el rendimiento de cuatro motores de búsqueda tradicional (Google, Bing, Yahoo y DuckDuckGo) y siete modelos de IA conversacional, entre los que destacan sistemas de propósito general como ChatGPT y LLaMA3, o MedLLaMA, un modelo entrenado específicamente para proporcionar respuestas a preguntas médicas.

Los investigadores midieron la capacidad de todas estas tecnologías para ofrecer respuestas médicas correctas ante un conjunto de consultas estandarizadas, sirviéndose para ello de una batería de preguntas médicas reales.

Más acierto, pero no exento de riesgos

Los buscadores de inteligencia artificial evidencian "un mayor porcentaje de aciertos, aunque el estudio alerta de que su uso no está exento de riesgos".

El análisis de errores realizado a lo largo del estudio agrupa los errores en tres grandes categorías:

• Los que contradicen el consenso médico establecido (los más preocupantes).
• Los que surgen de una mala interpretación de la IA ante la pregunta formulada (normalmente, porque le falta el conocimiento básico sobre cómo funcionan las cosas en el mundo real, lo que llamamos sentido común).
• Los que dan lugar a respuestas demasiado vagas o imprecisas que, en la práctica, no proporcionan una ayuda real a quien lo necesita.

Es importante cómo se formulan las preguntas

Uno de los autores, Juan Carlos Pichel, subraya la importancia del modo en que se formulan las preguntas, porque "uno de los riesgos más serios con el uso de la IA es que, si no entienden bien la pregunta o carecen de contexto suficiente, pueden ofrecer consejos poco seguros".

"Y lo más preocupante es que lo hacen con una gran asertividad, lo que puede inducir errores fatales, con consecuencias directas sobre la salud de las personas", señala el experto.

Para David Losada, catedrático de Ciencia de la Computación e Inteligencia Artificial, una parte clave del trabajo es la que explora la manera de enriquecer los modelos de IA con resultados obtenidos por motores de búsqueda, empleando para ello técnicas de generación aumentada por recuperación.