¿Sabías que una IA puede alucinar? Nuestro Colaborador Enrique San Juan nos cuenta de que trata y cómo darnos cuenta.
Fuente: http://tinyurl.com/29jk3eph
Una alucinación, en términos generales, es una percepción en ausencia de un estímulo externo que tiene cualidades de ser una impresión real. Es decir, una experiencia en la que una persona percibe algo que no está presente en el entorno. Las alucinaciones pueden involucrar cualquiera de los sentidos, pero las más comunes son visuales y auditivas y en el caso de los humanos responden por lo general a estados alterados de consciencia.
Por otra parte, las «alucinaciones» de la Inteligencia Artificial se refieren a situaciones donde un sistema de IA genera respuestas o resultados erróneos, incoherentes o completamente sin sentido, especialmente en contextos donde se esperaría que produzca información precisa y coherente.
Este fenómeno afecta a prácticamente cualquier tipo de IA, incluyendo modelos de procesamiento de lenguaje natural, sistemas de visión artificial y otros algoritmos de aprendizaje automático. Todos los sistemas de generación de contenido, –entre ellos ChatGPT, Bard, Copilot o Bing Chat, entre otros– pueden presentar (y presentan) alucinaciones en sus resultados.
Alucinaciones famosas
En febrero de 2023, el modelo de IA Bard de Google afirmó que el telescopio espacial James Webb había tomado las primeras imágenes de un exoplaneta fuera de nuestro sistema solar, una respuesta falsa que se contradecía con los hechos conocidos en astronomía y que fue ampliamente contestada por la comunidad científica.
En mayo de 2023, el abogado de Nueva York A. Schwartz utilizó ChatGPT para elaborar una moción legal contra la aerolínea Avianca que resultó estar llena de opiniones judiciales y citas legales falsas. Perdió el caso y además fue amonestado por el juez.
Algunas respuestas de IA también ha sido señaladas por generar información completamente fabricada, como URLs falsas, bibliotecas de código, e incluso personas, estudios, libros y artículos de investigación inexistentes.
¿Por qué alucinan las IAs?
Las alucinaciones en inteligencia artificial se producen por varias razones, relacionadas con las limitaciones inherentes a los modelos de aprendizaje automático y los datos con los que estos sistemas han sido entrenados.
Algunas de las causas principales apuntan al entrenamiento con datos sesgados o incompletos, a la propia complejidad y abstracción del lenguaje, a las limitaciones del modelo en cuestión y a la interferencia de patrones anteriores. Es decir, a veces, las IAs se inventan los resultados.
En este punto cabría preguntarse ¿cómo es que este tipo de sistemas entregan información inexacta en lugar de contestar simplemente “no lo sé” o “este dato no lo tengo”?
La razón principal radica en que se trata de sistemas optimizados para “maximizar la respuesta”. Es decir, modelos como ChatGPT están entrenados para generar la respuesta más probable basada en el patrón de datos que han aprendido. No están programados para reconocer y admitir sus limitaciones o desconocimiento.
Sistemas carentes de conciencia
A diferencia de los humanos, y contrariamente a lo que podría parecer por su comportamiento, ChatGPT no posee conciencia real ni autoconciencia. No tiene la capacidad de evaluar su propio conocimiento o la falta de este. Simplemente, sigue su entrenamiento para generar respuestas basadas en los datos con los que fue entrenado.
Es decir, ChatGPT genera respuestas basadas en la probabilidad estadística derivada de los patrones en los datos de entrenamiento. Si no encuentra una respuesta clara o precisa, intentará generar la mejor respuesta posible según lo que «cree» basado en esos patrones, incluso si esa respuesta es inexacta o inventada.
Aunque ChatGPT es avanzado en el procesamiento del lenguaje, puede no llegar a reconocer cuándo un tema está fuera de su alcance de conocimiento o cuándo la información específica es necesaria, pero no está disponible en su entrenamiento.
Los modelos de lenguaje están diseñados para generar texto y ofrecer información, no hacia la omisión o el reconocimiento de la falta de conocimiento.
Cómo detectar las alucinaciones en IA
El gran problema de las alucinaciones de los sistemas de IA es que parecen muy reales; es información que tiene toda la pinta de ser verdadera, pero que en realidad es falsa.
El impacto de trabajar con información inexacta puede ser muy negativo para los profesionales que no conozcan y apliquen los controles adecuados antes de dar por bueno y finalizado un trabajo.
Algunos elementos que podemos considerar a la hora de detectar estos fallos son los siguientes:
· Citas, referencias, estudios y autores. Cada vez que el contenido generado incluya alguno de estos elementos, deberíamos estar alerta y validar la información entregada, contrastándola con fuentes de información confiables, con hechos conocidos y también con expertos humanos expertos en el tema.
· Pruebas de consistencia. Estar atentos de que la IA responde de manera consistente a preguntas o situaciones similares. Las inconsistencias notables podrían ser indicativas de alucinaciones.
· Limitar el alcance de la IA. Se trata de definir claramente los límites dentro de los cuales la IA puede operar de manera confiable. Por ejemplo, limitar los temas o tipos de preguntas que puede responder con seguridad.
· Análisis de patrones de error. Analizar los errores cometidos por la IA para entender sus limitaciones y áreas de mejora. Por ejemplo, en los casos de citas, datos y referencias suele haber más errores que a respuestas sobre temas simples y genéricos.
Es importante recordar que ninguna IA es perfecta y siempre existe la posibilidad de errores. Por lo tanto, es crucial utilizar la IA como una herramienta de apoyo en lugar de una fuente definitiva de información, especialmente en decisiones críticas.
Cuídate de las alucinaciones
Si 2024 viene con una tarea para los profesionales del marketing y la comunicación, esa es comprender el impacto de la IA en nuestras empresas o negocios. No solo se trata de conocer lo bueno, sino de evitar lo potencialmente perjudicial de los sistemas de IA. Y el de las alucinaciones es uno de esos capítulos.
Nota del Editor
Tiempo atrás publiqué justamente una experiencia al respecto, la titulé “ChatGPT Me Mintió Descaradamente … ¿Se Puede Confiar En Esta IA?”.
Véanlo acá, es muy interesante: https://www.gestionenti.com/post/chatgpt-me-mintió-descaradamente-se-puede-confiar-en-esta-ia
Después de leer el comentario de Enrique queda claro que en realidad no me “mintió” ya que para eso tendría que poseer conciencia, pero no pueden negar que el título quedó mucho mejor así.😊
Nota de Editor: pueden ver la propuesta de Enrique capacitación en el siguiente Link:
Si quieren contactarlo por LinkedIn lo pueden hacer aquí: