5 Riesgos de la IA Según Ricardo Baeza Yates

A fines de julio en el canal de Podcast IA de Jon Hernández se publicó una entrevista al Ingeniero Informático chileno Ricardo Baeza Yates (https://en.wikipedia.org/wiki/Ricardo_Baeza-Yates) dónde se habló extensamente respecto a los peligros de la IA. Me pareció muy interesante compartirlo con ustedes.

Imagen tomada del vídeo: https://www.youtube.com/watch?v=q3Vym6Mz7QE Sub imagen creada con Gemini usando el Prompt: "Genera una imagen de estilo cómico que muestre una IA manejando un automóvil de forma irresponsable".

El debate sobre el desarrollo acelerado de la inteligencia artificial y su despliegue masivo en infraestructuras críticas ha dejado de ser un mero ejercicio de especulación prospectiva para convertirse en una preocupación práctica diaria. A lo largo de más de tres décadas dedicadas a la docencia universitaria y a la consultoría en proyectos de tecnología de la información, he observado cómo la llegada de una nueva ola tecnológica suele despertar tanto un entusiasmo desmedido como omisiones graves respecto a sus riesgos operativos, éticos y estructurales.

Cuando analizamos la integración de sistemas algorítmicos avanzados en la sociedad —y muy especialmente en entornos de decisiones en tiempo real como los vehículos autónomos—, resulta indispensable evaluar la madurez de estos modelos, sus limitaciones intrínsecas y el impacto real que generan sobre las organizaciones y las personas.

A continuación, presento un análisis sistemático sobre las cinco dimensiones de riesgo más críticas que debemos gestionar frente al avance actual de la inteligencia artificial.

1. Fallas operativas en entornos críticos y vehículos autónomos

El despliegue de modelos de aprendizaje profundo en sistemas de transporte autónomo y robótica industrial expone la vulnerabilidad de confiar decisiones físicas a modelos probabilísticos. A diferencia de un sistema de software tradicional donde la lógica está codificada explícitamente y es determinista, la conducción autónoma depende de redes neuronales que interpretan datos provenientes de sensores.

• Un cambio intempestivo en las condiciones climáticas, un reflejo inusual sobre la calzada o una señalización vial alterada pueden provocar lo que en ingeniería denominamos "casos de borde" (edge cases). Frente a estos escenarios no previstos en el conjunto de entrenamiento, el algoritmo puede tomar decisiones erróneas con consecuencias fatales.

• La latencia en el procesamiento de datos y la dependencia de sensores físicos introducen puntos de falla únicos. Si la percepción del entorno falla por un instante, el margen de corrección humana desaparece, lo que transforma un fallo informático en un accidente de tránsito grave.

En este tema hubo un gran intercambio de opiniones debido a que Ricardo Baeza Yates (RBY) cuestionó el hecho de que, debido al uso de IA para "manejar automóviles" puedan fallecer personas que no habrían muerto en manos de conductores humanos. Ricardo comentó que hay situaciones que los seres humanos que jamás provocarían y que la IA si las ha hecho. Asociado a este análisis insistió men la dificultad de buscar quienes son los responsables en caso de que una IA cometa el daño a terceras personas.

2. Opacidad algorítmica y el problema de la "caja negra"

La falta de explicabilidad en las decisiones de los modelos complejos representa un problema metodológico y legal severo. Cuando un sistema de inteligencia artificial deniega un crédito bancario, realiza un diagnóstico médico o ajusta la trayectoria de un vehículo, resulta sumamente complejo rastrear la secuencia exacta de ponderaciones numéricas que derivaron en dicho resultado.

• En la gestión de proyectos informáticos y en el cumplimiento normativo, la incapacidad de auditar la lógica interna de un modelo impide asignar responsabilidades claras entre el desarrollador, el fabricante y el operador del sistema.

• Esta falta de transparencia dificulta la depuración de errores (debugging), dado que la corrección de un comportamiento no deseado exige ajustar hiperparámetros o reentrenar todo el modelo sin la certeza absoluta de eliminar la falla de raíz.

En este tema RBY destacó las posibles injusticias que se pueden producir al realizar la IA este tipo de análisis, reconociendo por cierto, que actualmente las personas cometen errores.

3. Sesgos sistémicos y discriminación automatizada

Los algoritmos de aprendizaje automático no construyen criterios propios; procesan y replican patrones presentes en los datos históricos con los que fueron alimentados. Si la información de origen contiene distorsiones de género, origen étnico o nivel socioeconómico, el modelo automatizará e intensificará dichas desviaciones.

• En procesos de selección de personal, evaluación crediticia o asignación de recursos públicos, el uso de datos históricos viciados perpetúa desigualdades bajo un halo falso de neutralidad matemática.

• La corrección de estos sesgos exige metodologías rigurosas de preparación y limpieza de datos (data wrangling), junto con auditorías permanentes sobre los resultados entregados por el sistema.

En este tema RBY insiste que la IA "no piensa" sino que reconoce patrones y, está muy limitada por los datos que están disponibles para que se generen dichos patrones.

4. Vulnerabilidades de ciberseguridad y ataques adversariales

Los sistemas basados en inteligencia artificial introducen nuevos vectores de ataque que difieren significativamente de las amenazas informáticas tradicionales. No se trata únicamente de prevenir la denegación de servicio o la intrusión no autorizada, sino de proteger la integridad del propio modelo matemáticos.

• Mediante ataques de envenenamiento de datos (data poisoning), un actor malicioso puede introducir información alterada durante la fase de entrenamiento para manipular las decisiones futuras del algoritmo.

• En el caso de los vehículos autónomos o el reconocimiento de imágenes, existen las "perturbaciones adversariales": pequeñas modificaciones imperceptibles para el ojo humano aplicadas sobre señales de tránsito o elementos del entorno que confunden completamente a la red neuronal, provocando lecturas erróneas de la realidad.

5. Desplazamiento laboral y obsolescencia de competencias

A diferencia de las revoluciones industriales previas, que automatizaron principalmente tareas físicas y repetitivas, la corriente actual de inteligencia artificial impacta de manera directa sobre el trabajo cognitivo y la toma de decisiones administrativas.

• Profesionales de áreas como el análisis de datos, la programación inicial, la gestión documental o la atención al cliente enfrentan una rápida redefinición de sus roles operativos.

• Esta aceleración impone un desafío profundo a las instituciones educativas y a los programas de capacitación corporativa, los cuales deben adaptar sus currículos a un ritmo muy superior al histórico para evitar brechas insalvables en el mercado de trabajo.

Al respecto RBY insistió mucho en que su expectativa más positiva es que las personas dejen de realizar actividades aburridas, repetitivas o peligrosas y se dediquen a pintar, escribir, y crear. Se refiere a que es posible un "Nuevo Renacimiento".

Conclusión

La adopción de la inteligencia artificial en procesos estratégicos no puede abordarse desde el entusiasmo acrítico ni desde el rechazo categórico. Como formadores e ingenieros, nos corresponde asumir un enfoque riguroso, basado en la gobernanza de datos, la auditoría continua y la definición clara de marcos de responsabilidad humana sobre cualquier sistema automatizado. La tecnología debe mantenerse siempre como una herramienta de apoyo al servicio del criterio profesional, asegurando que la gestión de riesgos sea una prioridad metodológica desde la fase inicial de diseño informático.

¿Qué les parece?

Saludos cordiales

Profesor Gerardo Cerda Neumann

Editor del Blog de la Comunidad

Fuentes consultadas (Formato APA)

• Amodei, D., Olah, C., Steinhardt, J., Christiano, P., Schulman, J., & Mané, D. (2016). Concrete problems in AI safety. arXiv preprint arXiv:1606.06565.

• Goodfellow, I. J., Shlens, J., & Szegedy, C. (2014). Explaining and harnessing adversarial examples. arXiv preprint arXiv:1412.6572.

• Koopman, P., & Wagner, M. (2017). Autonomous vehicle safety: An interdisciplinary challenge. IEEE Intelligent Transportation Systems Magazine, 9(3), 90-96.

• Russell, S., & Norvig, P. (2020). Artificial Intelligence: A Modern Approach (4th ed.). Pearson.

• Zumel, N., & Mount, J. (2020). Practical Data Science with R (2nd ed.). Manning Publications.