La inteligencia distribuida
Cómo los agentes artificiales transformarán la vida, el trabajo y el conocimiento
Prefacio
Este texto responde a la convicción de que estamos atravesando un momento de transformación tecnológica comparable a la invención de la imprenta o la revolución industrial, aunque con una velocidad de despliegue sin precedentes. Su contenido puede interesar a quienes comparten la inquietud por el abismo entre la sofisticación técnica de los sistemas de inteligencia artificial generativa y la tosquedad de buena parte del discurso público sobre sus implicaciones.
Entre el entusiasmo acrítico de los evangelistas tecnológicos y el encuadre catastrofista de quienes ven en cada avance una amenaza existencial existe un territorio escasamente explorado: el de la evaluación informada y contextualizada de lo que estas tecnologías pueden y no pueden hacer, de los problemas que resuelven y los que crean, de las oportunidades que abren y los riesgos que entrañan.
Esta monografía propone algunos elementos para orientarse en tan amplio espacio intermedio. Se dirige a lectores que no se conforman con titulares ni con jerga técnica impenetrable, sino que buscan comprender las bases conceptuales, los desarrollos recientes y las implicaciones de la inteligencia artificial generativa y agencial desde una perspectiva informada y crítica.
El enfoque adoptado incorpora aportaciones clave de la filosofía de la ciencia y la tecnología, una disciplina que lleva décadas estudiando cómo las innovaciones técnicas se entrelazan con valores sociales, estructuras económicas y configuraciones de poder. Esta perspectiva resulta especialmente valiosa cuando las promesas comerciales y las especulaciones sobre riesgos difusos oscurecen la comprensión de lo que realmente está en juego.
Los capítulos que siguen cubren desde los fundamentos técnicos de los grandes modelos de lenguaje hasta sus aplicaciones en medicina, ciencia, educación y producción creativa; desde los riesgos de ciberseguridad y desinformación hasta los desafíos para el empleo y la regulación. El tratamiento no es exhaustivo —la velocidad del campo lo haría imposible—, pero sí pretende ser riguroso en sus fuentes y equilibrado en sus valoraciones.
Una nota sobre la metodología: las referencias bibliográficas priorizan literatura académica revisada por pares, complementada con informes técnicos de organizaciones reconocidas y, cuando es pertinente, documentación primaria de los desarrolladores de estos sistemas. Los datos estadísticos provienen de fuentes verificables y se presentan con las cautelas apropiadas cuando su fiabilidad es limitada.
El texto incluye fragmentos de código R que permiten reproducir visualizaciones y análisis. Esta decisión responde a la convicción de que la transparencia metodológica es un valor irrenunciable en la producción de conocimiento, especialmente cuando se analizan tecnologías que plantean serios desafíos en cuanto a verificabilidad y rendición de cuentas.
Como criterio general, conviene tener presente que cualquier texto sobre aplicaciones en curso de la inteligencia artificial queda parcialmente obsoleto en el momento de su publicación. Los desarrollos entre el cierre de esta monografía y su lectura habrán añadido capacidades, revelado vulnerabilidades y alterado el panorama competitivo. Lo que permanece, sin embargo, son las preguntas fundamentales sobre qué tipo de tecnología queremos, quiénes deben decidirlo y cómo podemos asegurar que sus beneficios se distribuyan de manera justa mientras se mitigan sus riesgos. Esas preguntas, y las herramientas conceptuales para abordarlas, son el verdadero objeto de este trabajo.
1 Introducción: La inteligencia como artefacto
1.1 El momento presente
En noviembre de 2022, la empresa OpenAI lanzó al público ChatGPT, una interfaz conversacional construida sobre un modelo de lenguaje de gran escala. En apenas cinco días, el servicio alcanzó un millón de usuarios; en dos meses, superó los cien millones (Briggs et al., 2023). Ninguna tecnología de consumo había logrado una adopción tan veloz: ni Facebook (diez meses para alcanzar el millón), ni Instagram (dos meses y medio), ni TikTok (nueve meses). En retrospectiva, ese lanzamiento marcó un punto de inflexión: la IA dejó de ser un tema de laboratorio y conferencias especializadas para convertirse en objeto de conversación cotidiana, preocupación política y estrategia empresarial.
Tres años después, a finales de 2025, el panorama se ha transformado radicalmente. Según datos de la Real-Time Population Survey de la Reserva Federal de St. Louis, el 23% de los trabajadores estadounidenses utiliza herramientas de IA generativa al menos una vez por semana en su actividad laboral, una tasa de adopción extraordinaria para una tecnología con apenas tres años de despliegue masivo (Ozkan & Sullivan, 2025). Los modelos de lenguaje han crecido en capacidad y se han diversificado en aplicaciones: sistemas como GPT-4 (OpenAI, 2023), Claude (Anthropic, 2024), Gemini y LLaMA compiten en un mercado cuya inversión privada superó los 94.000 millones de dólares anuales a nivel global en 2021 y continúa creciendo exponencialmente (Briggs et al., 2023).
Código
# ==============================================================================
# DATOS DE INVERSIÓN GLOBAL EN IA (2014-2025)
# Fuentes: Stanford HAI AI Index Report 2025, Goldman Sachs Global Investment
# Research, Crunchbase 2025, KPMG Venture Pulse Q3 2025
# ==============================================================================
# Inversión corporativa total en IA (incluye private equity, M&A, minority stakes)
inversion_global <- tibble(
año = 2014:2025,
# Datos: Stanford AI Index 2025 reporta crecimiento 13x desde 2014
# 2021: $94bn (Goldman Sachs 2023), 2024: $252.3bn (Stanford HAI 2025)
inversion_total = c(19.4, 26.2, 36.0, 50.1, 65.3, 75.0, 80.1, 94.0,
91.3, 143.2, 252.3, 320.0),
# IA Generativa: despegue post-ChatGPT (nov 2022)
# Datos: Crunchbase, EY Ireland GenAI Report 2025
ia_generativa = c(0.3, 0.4, 0.5, 0.8, 1.2, 1.8, 2.5, 3.2,
4.0, 24.0, 33.9, 80.0),
tipo = "Observado"
)
# Marcar 2025 como proyección/parcial
inversion_global$tipo[12] <- "Proyección 2025"
# Gráfico principal: evolución temporal
p1 <- ggplot(inversion_global, aes(x = año)) +
# Área sombreada para IA generativa
geom_area(aes(y = ia_generativa),
fill = "#e74c3c", alpha = 0.3) +
# Línea de inversión total
geom_line(aes(y = inversion_total, color = "Inversión total en IA"),
linewidth = 1.2) +
geom_point(aes(y = inversion_total, shape = tipo),
size = 3, color = "#2c3e50") +
# Línea de IA generativa
geom_line(aes(y = ia_generativa, color = "IA Generativa"),
linewidth = 1.2) +
geom_point(aes(y = ia_generativa, shape = tipo),
size = 3, color = "#e74c3c") +
# Anotación ChatGPT
annotate("segment", x = 2022.9, xend = 2022.9, y = 0, yend = 150,
linetype = "dashed", color = "gray50", linewidth = 0.5) +
annotate("text", x = 2022.9, y = 160,
label = "ChatGPT\n(nov 2022)",
size = 3, color = "gray40", hjust = 0.5) +
# Anotación del crecimiento
annotate("text", x = 2019, y = 220,
label = "Crecimiento 13x\ndesde 2014",
size = 3.5, fontface = "italic", color = "gray50") +
annotate("curve", x = 2019, y = 200, xend = 2024, yend = 252,
arrow = arrow(length = unit(0.2, "cm")),
curvature = 0.3, color = "gray50") +
# Escalas y etiquetas
scale_y_continuous(
labels = scales::label_dollar(suffix = "B", scale = 1),
breaks = seq(0, 350, 50),
expand = expansion(mult = c(0, 0.1))
) +
scale_x_continuous(breaks = 2014:2025) +
scale_color_manual(
values = c("Inversión total en IA" = "#2c3e50",
"IA Generativa" = "#e74c3c"),
name = NULL
) +
scale_shape_manual(
values = c("Observado" = 16, "Proyección 2025" = 17),
name = NULL
) +
labs(
title = "La explosión de la inversión en IA: de $19B a $320B en una década",
subtitle = "Inversión corporativa global (private equity, fusiones, adquisiciones)",
x = NULL,
y = "Miles de millones USD",
caption = "Fuentes: Stanford HAI AI Index 2025; Goldman Sachs (2023); Crunchbase (2025); KPMG Venture Pulse Q3'25"
) +
theme_monografia() +
theme(
legend.position = c(0.15, 0.85),
legend.background = element_rect(fill = "white", color = NA),
panel.grid.major.x = element_blank()
)
print(p1)Código
# ==============================================================================
# INVERSIÓN POR PAÍS (2024)
# Fuente: Stanford HAI AI Index Report 2025, Economy Chapter
# ==============================================================================
inversion_paises <- tibble(
pais = c("Estados Unidos", "China", "Reino Unido", "Francia",
"Alemania", "Canadá", "Israel", "India", "Japón", "Resto del mundo"),
inversion_2024 = c(109.1, 9.3, 4.5, 2.8, 2.1, 1.8, 1.6, 1.2, 0.9, 10.0),
region = c("América", "Asia", "Europa", "Europa", "Europa",
"América", "Oriente Medio", "Asia", "Asia", "Otros")
)
# Calcular porcentajes
total_2024 <- sum(inversion_paises$inversion_2024)
inversion_paises <- inversion_paises %>%
mutate(
porcentaje = inversion_2024 / total_2024 * 100,
etiqueta = paste0("$", round(inversion_2024, 1), "B\n(", round(porcentaje, 1), "%)")
)
# Ordenar por inversión
inversion_paises <- inversion_paises %>%
mutate(pais = fct_reorder(pais, inversion_2024))
# Colores por región
colores_region <- c(
"América" = "#3498db",
"Asia" = "#e74c3c",
"Europa" = "#2ecc71",
"Oriente Medio" = "#f39c12",
"Otros" = "#95a5a6"
)
p2 <- ggplot(inversion_paises, aes(x = pais, y = inversion_2024, fill = region)) +
geom_col(width = 0.7, alpha = 0.85) +
geom_text(aes(label = paste0("$", round(inversion_2024, 1), "B")),
hjust = -0.1, size = 3.5, fontface = "bold") +
coord_flip(clip = "off") +
scale_y_continuous(
labels = scales::label_dollar(suffix = "B"),
expand = expansion(mult = c(0, 0.15))
) +
scale_fill_manual(values = colores_region, name = "Región") +
labs(
title = "Hegemonía estadounidense en la inversión en IA (2024)",
subtitle = "EE.UU. invierte casi 12 veces más que China y 24 veces más que Reino Unido",
x = NULL,
y = "Inversión privada en IA (miles de millones USD)",
caption = "Fuente: Stanford HAI AI Index Report 2025, Economy Chapter"
) +
theme_monografia() +
theme(
legend.position = c(0.85, 0.25),
legend.background = element_rect(fill = "white", color = "gray90"),
panel.grid.major.y = element_blank()
)
print(p2)Código
# ==============================================================================
# PROYECCIÓN DE GASTO EN IA (2024-2028)
# Fuente: Gartner (septiembre 2025)
# ==============================================================================
proyeccion_gasto <- tibble(
año = 2024:2028,
# Gartner: $1.5T en 2025, >$2T en 2026
gasto_total = c(1040, 1500, 2100, 2750, 3400),
# Desglose aproximado por categoría
infraestructura = c(380, 550, 750, 950, 1150),
software_ia = c(280, 420, 600, 800, 1000),
servicios = c(220, 330, 480, 650, 820),
ia_embebida = c(160, 200, 270, 350, 430)
)
# Transformar a formato largo para visualización apilada
proyeccion_largo <- proyeccion_gasto %>%
pivot_longer(
cols = c(infraestructura, software_ia, servicios, ia_embebida),
names_to = "categoria",
values_to = "valor"
) %>%
mutate(
categoria = case_when(
categoria == "infraestructura" ~ "Infraestructura (GPUs, data centers)",
categoria == "software_ia" ~ "Software y plataformas IA",
categoria == "servicios" ~ "Servicios profesionales",
categoria == "ia_embebida" ~ "IA embebida en productos"
),
categoria = factor(categoria, levels = c(
"IA embebida en productos",
"Servicios profesionales",
"Software y plataformas IA",
"Infraestructura (GPUs, data centers)"
))
)
# Gráfico de áreas apiladas
p3 <- ggplot(proyeccion_largo, aes(x = año, y = valor, fill = categoria)) +
geom_area(alpha = 0.85, color = "white", linewidth = 0.3) +
# Línea de total
geom_line(data = proyeccion_gasto, aes(x = año, y = gasto_total, fill = NULL),
linewidth = 1.2, color = "#2c3e50", linetype = "dashed") +
geom_point(data = proyeccion_gasto, aes(x = año, y = gasto_total, fill = NULL),
size = 3, color = "#2c3e50") +
# Etiquetas de total
geom_text(data = proyeccion_gasto,
aes(x = año, y = gasto_total + 150, label = paste0("$", gasto_total/1000, "T"), fill = NULL),
size = 3.5, fontface = "bold") +
scale_y_continuous(
labels = scales::label_dollar(suffix = "B", scale = 1),
breaks = seq(0, 3500, 500),
expand = expansion(mult = c(0, 0.1))
) +
scale_x_continuous(breaks = 2024:2028) +
scale_fill_viridis_d(option = "plasma", begin = 0.1, end = 0.9, direction = -1) +
labs(
title = "El gasto mundial en IA superará los $3 billones en 2028",
subtitle = "Proyección del mercado de IA por categoría de gasto",
x = NULL,
y = "Miles de millones USD",
fill = "Categoría",
caption = "Fuente: Gartner (septiembre 2025). Proyecciones basadas en tendencias de adopción empresarial."
) +
theme_monografia() +
theme(
legend.position = "bottom",
legend.box = "horizontal",
panel.grid.major.x = element_blank()
) +
guides(fill = guide_legend(nrow = 2))
print(p3)Los datos de inversión en IA provienen de múltiples fuentes complementarias:
- Stanford HAI AI Index Report 2025 (Stanford Institute for Human-Centered Artificial Intelligence, 2025): Principal fuente para datos de inversión corporativa global y comparativas por país.
- Goldman Sachs Global Investment Research (Briggs et al., 2023): Datos históricos (2021) y proyecciones de impacto económico.
- Crunchbase (Crunchbase News, 2025): Datos de financiación de startups y capital riesgo en tiempo real.
- KPMG Venture Pulse (KPMG Private Enterprise, 2025): Análisis trimestral de inversión de capital riesgo global.
- Gartner (Gartner, Inc., 2025): Proyecciones de gasto empresarial en IA.
Las cifras de 2025 incluyen datos parciales (primer semestre) y proyecciones basadas en tendencias observadas. Los datos de IA generativa específicamente comenzaron a rastrearse de forma sistemática a partir de 2022.
La IA generativa se ha infiltrado en prácticamente todos los sectores: redacta documentos legales, genera código informático con ganancias de productividad del 55% en tareas específicas (Peng et al., 2023), asiste en diagnósticos médicos con rendimiento comparable al de especialistas en determinados benchmarks (Singhal, Azizi, et al., 2023), produce imágenes y vídeos sintéticos de realismo inquietante, y —lo más significativo para esta monografía— potencia agentes autónomos capaces de ejecutar flujos de trabajo complejos con mínima supervisión humana. Proyectos como Agent Laboratory demuestran que sistemas basados en LLMs pueden ya conducir el ciclo completo de investigación científica: revisión de literatura, diseño experimental, ejecución de código, análisis de resultados y redacción de informes (Schmidgall et al., 2025).
Esta velocidad de despliegue contrasta con la lentitud de la reflexión sistemática. Las instituciones educativas, los marcos regulatorios y los dispositivos conceptuales arbitrados para entender o interpretar la tecnología se han visto desbordados. No es solo que la IA avance más rápido que la legislación —algo habitual con las innovaciones disruptivas—, sino que plantea desafíos categoriales inéditos:
- ¿Cómo regular un sistema cuyo comportamiento exhibe capacidades emergentes que sus propios creadores no anticiparon ni pueden predecir con precisión? (Wei et al., 2022)
- ¿Cómo atribuir responsabilidad cuando las decisiones emergen de redes neuronales con cientos de miles de millones de parámetros, operando como “loros estocásticos” que ensamblan patrones sin referencia a significado? (Bender et al., 2021)
- ¿Cómo preservar la integridad del conocimiento cuando entre el 6,5% y el 16,9% de las revisiones por pares en conferencias de machine learning muestran indicios de contenido generado o modificado sustancialmente por IA? (Liang et al., 2024)
- ¿Cómo preparar un mercado laboral donde aproximadamente el 80% de los trabajadores están en ocupaciones con al menos el 10% de sus tareas expuestas a automatización por LLMs, y donde los profesionales cognitivos de alta cualificación —paradójicamente— enfrentan mayor exposición que los trabajadores manuales? (Eloundou et al., 2024)
1.2 La inteligencia distribuida: de herramientas a agentes
El título de esta monografía incluye la noción de inteligencia distribuida para capturar un fenómeno que trasciende la idea tradicional de “herramientas de IA”. No se alude simplemente a software que ejecuta instrucciones, sino a sistemas capaces de planificar, ejecutar acciones en el mundo, aprender de la retroalimentación y coordinarse con otros agentes —humanos o artificiales— para alcanzar objetivos complejos.
Esta transición de modelos a agentes representa un cambio cualitativo. Como señala Luciano Floridi (Floridi, 2023a), estamos ante un divorcio sin precedentes entre agencia e inteligencia: los modelos de lenguaje exhiben capacidades de acción y producción consideradas exclusivas de entidades inteligentes, mientras carecen de comprensión, intencionalidad o consciencia en cualquier sentido filosóficamente robusto. Son agentes sin ser inteligentes; operan sin comprender.
Esta distinción tiene consecuencias prácticas inmediatas. Un agente artificial puede:
- Navegar por internet, extraer información y sintetizarla
- Escribir y ejecutar código para resolver problemas
- Interactuar con APIs y servicios externos
- Colaborar con otros agentes especializados en flujos de trabajo multi-agente
- Tomar decisiones autónomas dentro de parámetros definidos
La arquitectura de sistemas multi-agente, donde diversos LLMs especializados colaboran distribuidos en roles diferenciados (investigador, programador, revisor, coordinador), anticipa un futuro donde la “inteligencia” no residirá en entidades discretas sino en redes de agentes interconectados (Schmidgall et al., 2025; Tran et al., 2025). Esta distribución de la cognición artificial por las infraestructuras digitales de la sociedad es lo que justifica hablar de una inteligencia distribuida emergente.
1.3 Dimensiones del impacto: vida, trabajo, conocimiento
Las proyecciones económicas sugieren impactos sustanciales. Goldman Sachs estima que la IA generativa podría incrementar el PIB global en un 7% —aproximadamente 7 billones de dólares— en un horizonte de diez años, y elevar el crecimiento de la productividad laboral en 1,5 puntos porcentuales anuales en Estados Unidos (Briggs et al., 2023). Sin embargo, estas cifras agregadas ocultan distribuciones desiguales: el estudio de Eloundou et al. publicado en Science muestra que las ocupaciones con mayor exposición a LLMs son precisamente las de mayor cualificación y salario —abogados, analistas financieros, programadores, científicos de datos— mientras que trabajos manuales y de servicios presenciales permanecen relativamente protegidos (Eloundou et al., 2024).
Evidencia reciente de la Reserva Federal de St. Louis correlaciona la exposición teórica a IA con incrementos reales en tasas de desempleo ocupacional (correlación de 0,47), particularmente en el sector tecnológico (Ozkan & Sullivan, 2025). Aunque esta correlación no implica causalidad directa, señala que podríamos estar presenciando las primeras fases de un desplazamiento laboral impulsado por IA que, a diferencia de revoluciones tecnológicas previas, afecta directamente a trabajadores del conocimiento.
En el ámbito del conocimiento, la infiltración de contenido sintético plantea preguntas sobre la epistemología misma de la producción científica. Cuando muchos revisores por pares utilizan LLMs para generar evaluaciones —y el 82,8% de estas revisiones sintéticas son clasificadas como “escritas por humanos” por los detectores automáticos (Zhu et al., 2025)—, cuando miles de artículos incorporan texto sintético sin declaración, cuando múltiples conjuntos de datos de entrenamiento se contaminan con outputs de modelos previos, los cimientos de la confianza epistémica se erosionan de formas difíciles de detectar y remediar.
1.4 Objetivos y alcance
Esta monografía tiene un cuádruple propósito, ajustado al marco de la inteligencia distribuida:
Proporcionar contexto técnico y perspectiva histórica sobre los desarrollos en IA generativa y sistemas agenciales posteriores a 2022, explicando las tecnologías subyacentes —arquitecturas Transformer (Vaswani et al., 2017), aprendizaje por refuerzo con retroalimentación humana, sistemas multi-agente— con rigor pero sin exigir conocimientos técnicos previos altamente especializados.
Documentar aplicaciones y casos de uso en sectores clave —investigación científica, medicina, educación, desarrollo de software— distinguiendo entre capacidades demostradas empíricamente, promesas plausibles y exageraciones comerciales. Se presta particular atención a los sistemas agenciales emergentes.
Analizar riesgos y desafíos desde perspectivas éticas, epistémicas, legales, económicas y de seguridad, aportando elementos para una evaluación crítica que trascienda tanto el utopismo tecnológico como el catastrofismo especulativo.
Examinar respuestas institucionales y regulatorias, desde el AI Act europeo (European Parliament and Council, 2024; Novelli et al., 2025) hasta el marco de gestión de riesgos del NIST (National Institute of Standards and Technology, 2023) y las órdenes ejecutivas estadounidenses (The White House, 2023), evaluando su adecuación a la velocidad y naturaleza de los desarrollos.
El público objetivo incluye investigadores predoctorales y postdoctorales, estudiantes de posgrado y profesionales de diversas disciplinas —humanidades, filosofía, informática, ciencias de la vida, derecho— que busquen una visión panorámica, actualizada y rigurosamente documentada del estado actual del campo.
Esta monografía prioriza literatura científica con revisión por pares, informes técnicos de organizaciones reconocidas (Stanford HAI, NIST, Goldman Sachs Research) y documentación regulatoria oficial. Cuando se recurre a fuentes periodísticas o comerciales, se indica explícitamente y se contrasta con evidencia académica cuando está disponible.
Finalmente, una advertencia: cualquier texto sobre IA generativa queda parcialmente obsoleto en el momento de su publicación. Los desarrollos entre el cierre de esta monografía y su lectura habrán añadido capacidades, revelado vulnerabilidades y alterado el panorama competitivo. Lo que permanece, sin embargo, son las preguntas fundamentales sobre qué tipo de tecnología queremos, quién debe decidirlo y cómo podemos asegurar que sus beneficios se distribuyan de manera justa mientras se mitigan sus riesgos. Esas preguntas, y las herramientas conceptuales para abordarlas, son el verdadero objeto de este trabajo.
1.5 Marco conceptual: De los estudios CTS clásicos al análisis crítico de la IA generativa
El análisis que sigue se inscribe en la tradición de los Estudios de Ciencia, Tecnología y Sociedad (CTS), pero reconoce desde el inicio una tensión fundamental: los marcos conceptuales desarrollados para comprender tecnologías industriales, nucleares o biotecnológicas del siglo XX resultan insuficientes para captar la especificidad de los sistemas de IA generativa. Los conceptos clásicos de Jasanoff, Collingridge y Winner siguen siendo útiles como punto de partida, pero requieren una actualización sustancial a la luz de la investigación contemporánea que ha emergido específicamente para abordar los desafíos epistémicos, políticos y materiales de la IA.
1.5.1 Los clásicos CTS: utilidad y limitaciones
Tres conceptos fundacionales de la tradición CTS proporcionan intuiciones valiosas, aunque incompletas:
La coproducción de ciencia y orden social (Jasanoff, 2004) señala que los sistemas técnicos no son herramientas neutrales aplicadas a problemas preexistentes, sino que reconfiguran las prácticas, categorías y relaciones de poder en los dominios donde operan. Esta intuición se amplifica en el contexto de la IA generativa: un modelo de lenguaje no solo “asiste” en la escritura; transforma las prácticas de producción textual, redistribuye la autoridad epistémica y altera los patrones de responsabilidad profesional en dominios tan diversos como el periodismo, la educación o la práctica clínica.
El dilema de Collingridge (Collingridge, 1980) advierte que las tecnologías son más fáciles de modificar cuando están poco desarrolladas, pero en ese momento es difícil prever sus impactos; cuando los impactos se hacen evidentes, la tecnología está ya consolidada y es difícil de cambiar. Sin embargo, este dilema adquiere una complejidad sin precedentes con la IA generativa: no se trata simplemente de una tecnología difícil de modificar una vez consolidada, sino de sistemas cuyas propiedades emergen de manera impredecible con la escala, cuyo comportamiento no puede anticiparse completamente ni siquiera por sus desarrolladores (Wei et al., 2022).
Los artefactos tienen política (Winner, 1980) subraya que las opciones técnicas de diseño encarnan valores y distribuyen poder. Un modelo de lenguaje entrenado mayoritariamente con textos en inglés privilegia ciertas perspectivas culturales; un sistema de recomendación optimizado para el engagement puede amplificar la polarización. Pero Winner analizaba artefactos discretos (puentes, reactores nucleares); los modelos fundacionales son infraestructuras que subyacen a miles de aplicaciones diferentes, multiplicando exponencialmente su capacidad de inscribir valores específicos en contextos heterogéneos.
Los conceptos clásicos CTS fueron desarrollados para tecnologías con ciclos de desarrollo y despliegue medibles en décadas. La IA generativa opera en ciclos de meses, con capacidades que emergen de manera impredecible y despliegues masivos que preceden a cualquier evaluación sistemática de impacto.
1.5.2 Marcos contemporáneos para la IA generativa
La última década ha visto emerger un cuerpo de investigación interdisciplinar que aborda específicamente los desafíos conceptuales de la IA. Seis marcos resultan particularmente pertinentes para este análisis:
1. Modelos fundacionales y homogeneización sociotécnica
El informe del Stanford HAI sobre foundation models (Bommasani et al., 2021) introduce dos conceptos clave: emergencia y homogeneización. La emergencia refiere a capacidades que surgen de manera no programada explícitamente y a menudo inesperada cuando los modelos alcanzan cierta escala. La homogeneización señala la consolidación metodológica por la cual un número reducido de modelos base sustenta miles de aplicaciones diversas.
Esta homogeneización tiene consecuencias profundas: los defectos de un modelo fundacional se heredan aguas abajo por todas las aplicaciones que lo adaptan, creando lo que Bommasani y colaboradores denominan “monocultivos algorítmicos” susceptibles a fallos correlacionados y sistémicos (Bommasani et al., 2022). La naturaleza “fundamentalmente sociotécnica” de estos sistemas exige, según los autores, una colaboración interdisciplinar sin precedentes para comprender cómo funcionan, cuándo fallan y qué son realmente capaces de hacer.
2. IA como tecnología de extracción
Kate Crawford reconceptualizar la IA no como una tecnología inmaterial o abstracta, sino como una tecnología de extracción: extracción de minerales de la tierra, de trabajo de comunidades marginalizadas, de datos de cada acción y expresión humana (en una sección de Atlas of AI titulada: “What Is AI? Neither Artificial nor Intelligent”). Esta perspectiva materialista revela las redes planetarias de infraestructura, logística y poder que hacen posible la IA y que permanecen invisibles en los discursos técnicos convencionales (Crawford, 2021, pp. 7-8).
Crawford argumenta que la IA es “material y encarnada, hecha de recursos naturales, combustible, trabajo humano, infraestructuras, logísticas, historias y clasificaciones”. Los sistemas de IA no son autónomos ni racionales; dependen enteramente de estructuras políticas y sociales más amplias. Debido al capital requerido para construir IA a escala y a los modos de ver que optimiza, los sistemas de IA están “diseñados en última instancia para servir a intereses dominantes preexistentes”. En este sentido, la IA constituye un “registro de poder” (p. 8), versionado como “a tool of state power” (p. 17), “structure of power that combines infrastructure, capital, and labor” (p. 18), “geopolitical military power” (pp. 19, 32), “technocratic power” o “market power” (p. 20).
3. Loros estocásticos, escala y debate sobre la naturaleza de la IA
El artículo seminal de Bender, Gebru, McMillan-Major y Shmitchell (Bender et al., 2021) introdujo la metáfora del “loro estocástico” (stochastic parrot) para describir modelos de lenguaje que ensamblan secuencias de formas lingüísticas observadas en sus datos de entrenamiento según información probabilística sobre cómo se combinan, pero “sin ninguna referencia al significado”.
Más allá de la metáfora, el artículo identifica riesgos estructurales específicos: costos ambientales y financieros desproporcionados, inescrutabilidad que podría reforzar sesgos peligrosos desconocidos, potencial para el engaño, y la reproducción y amplificación de asociaciones problemáticas presentes en los datos de entrenamiento. Los autores enfatizan la importancia de invertir recursos en “curar y documentar cuidadosamente los conjuntos de datos en lugar de ingerir todo lo que hay en la web”, una recomendación que adquiere urgencia renovada con cada nuevo modelo entrenado en corpus de escala cada vez mayor.
La irrupción de los grandes modelos de lenguaje ha reavivado debates filosóficos latentes sobre la naturaleza de la inteligencia. Blaise Agüera-Arcas identifica dos respuestas arquetípicas ante las capacidades exhibidas por estos sistemas: negación —la IA no es realmente inteligente, solo simula serlo— y aceptación —estos sistemas exhiben una forma genuina de inteligencia, aunque diferente de la humana
Agüera adopta una posición funcionalista: lo que importa es la capacidad de modelar el entorno y actuar útilmente sobre él, no los detalles del sustrato (Agüera y Arcas et al., 2024, ch. 9). Su definición operativa de inteligencia como “la capacidad de comprender y actuar en un mundo complejo” enfatiza los resultados sobre los procesos:
“La inteligencia no se define por la cosa más tonta que haces, sino por la más inteligente. Si eres capaz de resolver problemas bastante sofisticados, incluso la mitad de las veces, entonces algo interesante está sucediendo.”
— Agüera y Arcas (2025)
Esta posición se opone frontalmente a la metáfora del “loro estocástico” de Bender et al. (Bender et al., 2021). Agüera argumenta que si los modelos solo memorizaran, no podrían generalizar a problemas fuera de su entrenamiento: “ni siquiera multiplicar números de tres dígitos, porque si miras todas las combinaciones posibles ya es demasiado para memorizar”. El modelo tiene que haber descubierto cómo hacerlo.
La analogía que propone es reveladora: los aviones no baten las alas como los pájaros, pero vuelan aprovechando la misma física (ecuación de Bernoulli). Del mismo modo, la IA artificial podría implementar inteligencia por medios diferentes al cerebro biológico pero funcionalmente equivalentes. Esta perspectiva desafía tanto a quienes minimizan las capacidades actuales de los LLMs como a quienes atribuyen a estos sistemas propiedades mentales robustas.
4. Agencia sin inteligencia
Luciano Floridi (Floridi, 2023b, 2023a) propone una reconceptualización fundamental: la IA representa un divorcio sin precedentes entre agencia e inteligencia. Los modelos de lenguaje pueden procesar textos con éxito extraordinario, a menudo de manera indistinguible del editado por humanos, mientras carecen de cualquier inteligencia, comprensión o capacidad cognitiva genuina.
Esta perspectiva tiene implicaciones éticas profundas. Si la IA es mejor comprendida como una nueva forma de agencia (no de inteligencia), las preguntas relevantes no son sobre consciencia o comprensión, sino sobre responsabilidad, rendición de cuentas y las estructuras de poder que estos nuevos agentes artificiales encarnan y refuerzan. Floridi articula un marco de cinco principios éticos (beneficencia, no maleficencia, autonomía, justicia, explicabilidad) y enfatiza la importancia de la “ética blanda” (soft ethics) y la gobernanza anticipatoria.
El análisis de la agencia artificial adquiere dimensiones políticas explícitas en el trabajo de Mark Coeckelbergh (Coeckelbergh, 2020, 2024), quien advierte sobre la “erosión democrática” que se produce cuando sistemas automatizados toman decisiones que afectan a ciudadanos sin los mecanismos de rendición de cuentas propios de actores humanos e instituciones representativas. Para Coeckelbergh, la cuestión no es si los sistemas de IA “piensan” o “comprenden”, sino cómo su despliegue reconfigura las relaciones de poder y los espacios de deliberación colectiva. La “agencia distribuida” —la dispersión de capacidades de acción entre humanos, algoritmos e instituciones— no es solo un problema filosófico abstracto sino un desafío concreto para la gobernanza democrática: ¿quién decide, quién es responsable, quién puede contestar las decisiones automatizadas?
Esta perspectiva conecta con el problema del control articulado por Stuart Russell (Russell, 2019): incluso sistemas aparentemente bien intencionados pueden producir resultados indeseables si sus funciones objetivo no capturan adecuadamente la complejidad de los valores humanos. Russell denomina a esto el “problema del alineamiento” (alignment problem): la dificultad fundamental de especificar exactamente lo que queremos que un sistema optimice, especialmente cuando ese sistema es suficientemente capaz para encontrar soluciones que satisfacen la letra pero no el espíritu de nuestras instrucciones. Este problema, originalmente formulado en el contexto de sistemas de IA avanzados hipotéticos, adquiere relevancia práctica inmediata con agentes de IA que ejecutan tareas complejas con autonomía creciente.
5. Injusticia epistémica algorítmica
Trabajos recientes (Kay et al., 2024; Symons & Alvarado, 2022) han extendido el concepto de injusticia epistémica de Miranda Fricker (Fricker, 2007) al contexto de la IA generativa. Kay, Kasirzadeh y Mohamed identifican cuatro dimensiones de lo que denominan “injusticia epistémica algorítmica generativa”:
- Injusticia testimonial amplificada: cuando los sistemas reproducen y amplifican prejuicios sobre la credibilidad de ciertos grupos sociales.
- Injusticia testimonial manipulativa: cuando las capacidades persuasivas de la IA se emplean para distorsionar percepciones.
- Ignorancia hermenéutica: cuando los sistemas carecen de los recursos conceptuales para interpretar adecuadamente las experiencias de comunidades marginalizadas.
- Injusticia de acceso: cuando las asimetrías en el acceso a sistemas de IA crean disparidades epistémicas, particularmente pronunciadas en contextos multilingües.
Esta perspectiva revela cómo la IA generativa puede socavar la integridad del conocimiento colectivo y los procesos mediante los cuales adquirimos, evaluamos y confiamos en la información, constituyendo una amenaza significativa para el ecosistema epistémico y el discurso democrático.
6. Regímenes algorítmicos y gobernanza
El concepto de regímenes algorítmicos (Jarke et al., 2024; Katzenbach & Ulbricht, 2021) dirige la atención más allá de la naturaleza técnica de los algoritmos hacia los complejos y parcialmente ambiguos entrelazamientos de los sistemas algorítmicos —como aparatos material-semióticos— con elementos sociales, políticos, culturales y económicos de la sociedad.
Este enfoque, enraizado en estudios de gobernanza y STS, entiende los algoritmos predictivos como herramientas de producción de conocimiento equipadas con “campos de visión” que simultáneamente hacen visibles ciertos fenómenos mientras dejan otros en la oscuridad. La selección inherente a estos campos de visión responde a decisiones conscientes e inconscientes que hacen de los algoritmos artefactos inevitablemente políticos.
1.5.3 Síntesis: Un marco integrado para el análisis CTS de la IA generativa
La convergencia de estos marcos contemporáneos sugiere varios principios organizadores para el análisis que sigue:
Materialidad y extracción: La IA generativa no es inmaterial ni abstracta; es una tecnología intensiva en recursos materiales, laborales y epistémicos, cuyos costos se distribuyen de manera desigual globalmente.
Emergencia e impredecibilidad: Las capacidades de los sistemas de IA generativa emergen de maneras que no pueden anticiparse completamente, lo que exacerba el dilema de Collingridge y demanda nuevos enfoques de gobernanza anticipatoria.
Homogeneización y concentración de poder: La dependencia de un número reducido de modelos fundacionales concentra poder en pocas organizaciones y crea vulnerabilidades sistémicas por fallos correlacionados.
Agencia distribuida y responsabilidad difusa: Los sistemas de IA generativa son agentes en sentido funcional, pero carecen de las propiedades que tradicionalmente fundamentan la atribución de responsabilidad moral.
Dimensión epistémica: La IA generativa no solo procesa información; transforma los procesos de producción, validación y circulación del conocimiento, con potencial tanto para la injusticia epistémica como para nuevas formas de resistencia.
Velocidad y asincronía: El ritmo de desarrollo y despliegue de la IA generativa supera sistemáticamente la capacidad de las instituciones sociales para comprender, evaluar y regular estos sistemas.
Crítica a los límites del escalado: La posición crítica más articulada sobre las limitaciones fundamentales de los LLMs proviene de Gary Marcus (G. F. Marcus, 2024; G. Marcus & Davis, 2019), quien argumenta que el escalado —más parámetros, más datos, más cómputo— no resolverá las deficiencias de razonamiento, robustez y fiabilidad porque estas surgen de limitaciones arquitectónicas profundas. Los LLMs carecen de capacidades de razonamiento compositivo, inferencia causal y anclaje a la realidad (grounding) que caracterizarían una inteligencia genuina. La propuesta de sistemas híbridos neuro-simbólicos ofrece una alternativa teórica que combinaría la flexibilidad del aprendizaje profundo con la precisión del razonamiento simbólico, aunque su viabilidad práctica a escala permanece por demostrar. Esta crítica complementa la metáfora del “loro estocástico” de Bender et al.: los LLMs ensamblan formas lingüísticas según patrones estadísticos, exhibiendo competencia sin comprensión.
El análisis CTS de la IA generativa debe resistir tanto el determinismo tecnológico (que atribuye a la tecnología poderes causales autónomos) como el instrumentalismo ingenuo (que reduce la tecnología a una herramienta neutral). Los sistemas de IA generativa son configuraciones sociotécnicas que encarnan valores, distribuyen poder y reconfiguran posibilidades —pero de maneras que permanecen abiertas a la contestación y la transformación.
Este marco conceptual orienta el análisis de los capítulos siguientes, donde se examina cómo estas dinámicas se manifiestan en dominios específicos: la investigación científica, la práctica médica, la educación, el desarrollo de software, la ciberseguridad, los sistemas militares, el mercado laboral y los marcos regulatorios emergentes.
1.6 Estructura del documento
La monografía se organiza en cuatro partes:
Parte I: Fundamentos (Capítulos 2-3) presenta las bases técnicas de la IA generativa, desde las arquitecturas de transformers hasta los procesos de entrenamiento y alineación, explicadas de modo accesible para lectores sin formación técnica especializada.
Parte II: Aplicaciones (Capítulos 4-7) examina los usos en sectores clave: investigación científica, medicina y salud, educación, producción creativa y programación asistida.
Parte III: Riesgos y desafíos (Capítulos 8-11) aborda los problemas de ciberseguridad, desinformación, impacto laboral y uso militar, así como los marcos regulatorios emergentes.
Parte IV: Perspectivas (Capítulos 12-14) incluye estudios de caso emblemáticos, escenarios prospectivos y consideraciones finales.
El documento concluye con un glosario de términos técnicos y la bibliografía completa.
PARTE I: FUNDAMENTOS
2 Arquitecturas y principios de la IA generativa
2.1 De las reglas a las representaciones: una perspectiva histórica
La historia de la inteligencia artificial puede narrarse como una sucesión de paradigmas sobre cómo representar y manipular el conocimiento. En sus primeras décadas (1950-1980), dominó la IA simbólica: sistemas basados en reglas explícitas, ontologías formales y mecanismos de inferencia lógica. Proyectos emblemáticos como DENDRAL (1965), MYCIN (1976) o los sistemas expertos de los años ochenta encarnaban esta visión. Estos sistemas funcionaban bien en dominios acotados —diagnóstico médico estructurado, configuración de ordenadores, resolución de puzzles—, pero resultaban frágiles ante la ambigüedad del lenguaje natural y la complejidad del mundo real.
La revolución conexionista de los años ochenta y noventa propuso una alternativa radical: en lugar de programar reglas, entrenar redes neuronales que aprendieran patrones a partir de ejemplos. Las neuronas artificiales, organizadas en capas, ajustaban sus conexiones mediante algoritmos de retropropagación del error. El enfoque era prometedor —el Perceptrón multicapa podía aprender funciones no lineales, las redes de Hopfield capturaban memorias asociativas—, pero las limitaciones computacionales y la escasez de datos etiquetados impidieron un despliegue a gran escala. El llamado “invierno de la IA” de los noventa reflejó el agotamiento de estas aproximaciones ante problemas de dimensionalidad alta.
El panorama cambió radicalmente en la década de 2010 con la convergencia de tres factores (Briggs et al., 2023):
Potencia de cómputo masiva: La adopción de GPUs (Graphics Processing Units) para entrenamiento de redes neuronales, seguida de TPUs (Tensor Processing Units) y clusters de cómputo en la nube, multiplicó por órdenes de magnitud la capacidad de procesamiento disponible.
Disponibilidad de datos: La expansión de Internet generó conjuntos de datos de escala sin precedentes —billones de tokens de texto, miles de millones de imágenes etiquetadas—, el combustible necesario para entrenar modelos con cientos de millones de parámetros.
Avances arquitectónicos: Innovaciones como las redes convolucionales profundas (AlexNet, 2012), las redes recurrentes con memoria (LSTM), y finalmente la arquitectura Transformer (2017) proporcionaron las estructuras capaces de aprovechar ese cómputo y esos datos.
El deep learning pasó de curiosidad académica a tecnología omnipresente. La investigación de Sevilla et al. (Sevilla et al., 2022) documenta rigurosamente esta transición, identificando tres eras distintas en la demanda de cómputo para entrenar sistemas de machine learning:
Código
library(ggplot2)
library(dplyr)
library(scales)
# Datos de las tres eras según Sevilla et al. (2022)
eras_data <- tibble(
era = factor(
c("Pre-Deep Learning\n(1952-2010)",
"Deep Learning\n(2010-2022)",
"Gran Escala\n(2015-2022)"),
levels = c("Pre-Deep Learning\n(1952-2010)",
"Deep Learning\n(2010-2022)",
"Gran Escala\n(2015-2022)")
),
tiempo_duplicacion_meses = c(21.3, 5.7, 9.9),
flops_inicio = c(3e4, 7e14, 4e21),
flops_fin = c(2e14, 2e18, 8e23),
n_modelos = c(19, 80, 19),
color = c("#2E86AB", "#A23B72", "#F18F01")
)
# Gráfico de tiempo de duplicación
p_duplicacion <- ggplot(eras_data, aes(x = era, y = tiempo_duplicacion_meses, fill = era)) +
geom_col(width = 0.7, show.legend = FALSE) +
geom_text(aes(label = paste0(tiempo_duplicacion_meses, " meses")),
vjust = -0.5, fontface = "bold", size = 4) +
geom_hline(yintercept = 24, linetype = "dashed", color = "gray50", linewidth = 0.8) +
annotate("text", x = 3, y = 25.5, label = "Ley de Moore (~24 meses)",
size = 3.5, color = "gray40", hjust = 1) +
scale_fill_manual(values = c("#2E86AB", "#A23B72", "#F18F01")) +
labs(
title = "Tiempo de duplicación del cómputo de entrenamiento",
subtitle = "La era Deep Learning duplica cómputo 4x más rápido que la Ley de Moore",
x = NULL,
y = "Meses para duplicar cómputo"
) +
theme_minimal(base_size = 12) +
theme(
plot.title = element_text(face = "bold"),
axis.text.x = element_text(size = 10)
) +
ylim(0, 28)
p_duplicacionSegún el análisis de Epoch AI sobre 123 sistemas hito (Sevilla et al., 2022):
Era Pre-Deep Learning (1952-2010): El cómputo de entrenamiento se duplicaba cada ~21 meses, aproximadamente en línea con la Ley de Moore. Escala: de 10⁴ a 10¹⁴ FLOPs.
Era Deep Learning (2010-2022): Tras la revolución de AlexNet (2012), el cómputo se duplica cada ~6 meses, 4× más rápido que Moore. Escala: de 10¹⁴ a 10¹⁸ FLOPs.
Era de Gran Escala (2015-2022): Modelos como AlphaGo, GPT-3 y PaLM inauguran una tendencia paralela con cómputo 2-3 órdenes de magnitud superior, duplicándose cada ~10 meses. Escala: de 10²¹ a 10²⁴ FLOPs.
2.2 La arquitectura Transformer
El hito arquitectónico decisivo llegó en 2017 con el artículo “Attention is All You Need” de Vaswani et al. (Vaswani et al., 2017), que introdujo la arquitectura Transformer. El título del artículo, traducible como “La atención es todo lo que necesitas”, capturaba una innovación radical: prescindir por completo de las redes recurrentes (RNN, LSTM) que habían dominado el procesamiento de secuencias durante una década.
2.2.1 El problema de las redes recurrentes
Las arquitecturas recurrentes previas procesaban secuencias de forma inherentemente secuencial: para procesar la palabra en posición t, debían haber procesado todas las palabras anteriores (1, 2, …, t-1). Esta dependencia secuencial imponía dos limitaciones severas:
Cuello de botella de paralelización: El procesamiento secuencial impedía aprovechar plenamente las GPUs, diseñadas para cálculos masivamente paralelos.
Degradación de gradientes: En secuencias largas, la información de tokens distantes se “difuminaba” a través de múltiples pasos de retropropagación, dificultando capturar dependencias de largo alcance.
2.2.2 El mecanismo de autoatención
Los Transformers resuelven ambos problemas mediante un mecanismo denominado autoatención (self-attention). En lugar de procesar secuencias token por token, la autoatención permite que cada posición “atienda” simultáneamente a todas las demás posiciones de la secuencia, en una única operación matricial paralelizable.
El mecanismo funciona mediante tres transformaciones lineales de cada token de entrada:
- Consultas (Queries, Q): Representan “qué información busca” cada token
- Claves (Keys, K): Representan “qué información ofrece” cada token
- Valores (Values, V): Representan “qué información transmite” cada token
El peso con que un token i atiende a otro token j se calcula como el producto escalar de sus consultas y claves, normalizado mediante softmax y escalado por \(\sqrt{d_k}\) para estabilidad numérica:
\[\text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V\]
Código
library(ggplot2)
# Datos para ilustrar flujo de atención
set.seed(42)
n_tokens <- 6
tokens <- c("El", "modelo", "Transformer", "revolucionó", "el", "NLP")
# Matriz de atención simulada (realista)
attention_matrix <- matrix(
c(0.50, 0.20, 0.15, 0.05, 0.05, 0.05, # El -> atiende más a sí mismo y "modelo"
0.10, 0.40, 0.30, 0.10, 0.05, 0.05, # modelo -> atiende a "Transformer"
0.05, 0.25, 0.45, 0.15, 0.05, 0.05, # Transformer -> fuerte auto-atención
0.05, 0.15, 0.30, 0.35, 0.05, 0.10, # revolucionó -> atiende a "Transformer"
0.15, 0.10, 0.10, 0.10, 0.40, 0.15, # el -> atiende a "NLP"
0.05, 0.10, 0.20, 0.20, 0.10, 0.35), # NLP -> distribuido
nrow = 6, byrow = TRUE
)
# Convertir a formato largo para ggplot
attention_df <- expand.grid(
origen = 1:n_tokens,
destino = 1:n_tokens
) %>%
mutate(
peso = as.vector(attention_matrix),
token_origen = factor(tokens[origen], levels = tokens),
token_destino = factor(tokens[destino], levels = tokens)
)
# Crear el heatmap
p_attention <- ggplot(attention_df, aes(x = destino, y = origen, fill = peso)) +
geom_tile(color = "white", linewidth = 0.5) +
geom_text(aes(label = sprintf("%.2f", peso)),
color = ifelse(attention_df$peso > 0.3, "white", "black"), size = 3.2) +
scale_fill_viridis_c(option = "plasma", name = "Peso de\natención") +
scale_x_continuous(
breaks = 1:n_tokens,
labels = tokens,
position = "top"
) +
scale_y_reverse(
breaks = 1:n_tokens,
labels = tokens
) +
labs(
title = "Matriz de autoatención (ejemplo ilustrativo)",
subtitle = "Filas: token origen | Columnas: token destino",
x = "Token destino (a qué atiende)",
y = "Token origen (quién atiende)"
) +
theme_minimal(base_size = 11) +
theme(
axis.text.x = element_text(angle = 45, hjust = 0, vjust = 0, face = "bold"),
axis.text.y = element_text(face = "bold"),
legend.position = "right",
plot.title = element_text(face = "bold"),
panel.grid = element_blank()
) +
coord_fixed()
p_attention2.2.3 Atención multi-cabeza y escalabilidad
El Transformer original empleaba atención multi-cabeza (multi-head attention): en lugar de un único cálculo de atención, ejecutaba h = 8 cálculos paralelos con distintas proyecciones, permitiendo al modelo atender simultáneamente a diferentes aspectos de la representación (sintaxis, semántica, co-referencia, etc.). Esta arquitectura resultó extraordinariamente escalable.
La eficiencia computacional de los transformers —que pueden paralelizarse extensivamente en hardware moderno— permitió escalar a modelos de tamaños sin precedentes. GPT-2 (2019) tenía 1.500 millones de parámetros; GPT-3 (2020) alcanzó 175.000 millones (Brown et al., 2020); los modelos actuales como PaLM (540B) y GPT-4 superan ampliamente esas cifras, aunque las empresas ya no publican detalles precisos de arquitectura.
2.3 Leyes de escalado: más grande es diferente
El escalado de los modelos de lenguaje no es simplemente “más de lo mismo”. La investigación empírica ha revelado leyes de escalado (scaling laws) que gobiernan la relación entre tamaño del modelo, cantidad de datos y rendimiento final.
2.3.1 La ley Chinchilla: el equilibrio óptimo
Hoffmann et al. (Hoffmann et al., 2022) de DeepMind realizaron un estudio sistemático entrenando más de 400 modelos de lenguaje, desde 70 millones hasta 16.000 millones de parámetros, sobre cantidades variables de tokens (de 5.000 millones a 400.000 millones). Su conclusión fue contundente: los modelos de lenguaje de gran escala estaban significativamente subentrenados.
La práctica dominante hasta entonces —ejemplificada por GPT-3 (175B parámetros, 300B tokens) y Gopher (280B parámetros, 300B tokens)— priorizaba aumentar el tamaño del modelo manteniendo constante la cantidad de datos de entrenamiento. Hoffmann et al. demostraron que esta estrategia era subóptima: para un presupuesto de cómputo fijo, el tamaño del modelo y la cantidad de tokens de entrenamiento deberían escalarse en proporciones iguales.
Código
library(ggplot2)
library(dplyr)
library(scales)
library(ggrepel) # Añadir esta librería
# Datos de modelos representativos
modelos_data <- tibble(
modelo = c("GPT-3", "Gopher", "MT-NLG", "Chinchilla", "LLaMA 65B"),
parametros_B = c(175, 280, 530, 70, 65),
tokens_B = c(300, 300, 270, 1400, 1400),
ratio = tokens_B / parametros_B,
optimo = c(FALSE, FALSE, FALSE, TRUE, TRUE),
año = c(2020, 2021, 2022, 2022, 2023)
)
# Línea de tendencia óptima según Chinchilla (20 tokens por parámetro aprox)
optimal_line <- tibble(
parametros_B = seq(10, 600, by = 10),
tokens_B = parametros_B * 20
)
p_chinchilla <- ggplot() +
# Línea óptima
geom_line(data = optimal_line, aes(x = parametros_B, y = tokens_B),
color = "darkgreen", linewidth = 1, linetype = "dashed", alpha = 0.7) +
# Puntos de modelos
geom_point(data = modelos_data,
aes(x = parametros_B, y = tokens_B, color = optimo, size = optimo)) +
# Etiquetas con ggrepel para evitar superposición
geom_text_repel(data = modelos_data,
aes(x = parametros_B, y = tokens_B, label = modelo),
size = 3.5, fontface = "bold",
box.padding = 0.6,
point.padding = 0.4,
segment.color = "gray50",
segment.size = 0.4,
segment.linetype = "dotted",
min.segment.length = 0,
max.overlaps = Inf,
seed = 42, # Reproducibilidad
direction = "both") +
# Zona de modelos "subentrenados"
annotate("rect", xmin = 150, xmax = 600, ymin = 200, ymax = 400,
alpha = 0.1, fill = "red") +
annotate("text", x = 400, y = 350,
label = "Zona subentrenada\n(muchos parámetros,\npocos datos)",
color = "darkred", size = 3, fontface = "italic") +
scale_x_continuous(labels = label_comma(suffix = "B"),
breaks = seq(0, 600, by = 100)) +
scale_y_continuous(labels = label_comma(suffix = "B"),
breaks = seq(0, 1500, by = 300)) +
scale_color_manual(values = c("FALSE" = "#E63946", "TRUE" = "#2A9D8F"),
labels = c("Subóptimo", "Compute-óptimo")) +
scale_size_manual(values = c("FALSE" = 4, "TRUE" = 6), guide = "none") +
labs(
title = "Ley de escalado Chinchilla: equilibrio parámetros-datos",
subtitle = "Modelos anteriores a 2022 subentrenados; Chinchilla demuestra el óptimo",
x = "Parámetros (miles de millones)",
y = "Tokens de entrenamiento (miles de millones)",
color = "Eficiencia",
caption = "Datos basados en Hoffmann et al. (2022)"
) +
theme_minimal(base_size = 12) +
theme(
plot.title = element_text(face = "bold"),
legend.position = "bottom"
)
p_chinchillaEl modelo Chinchilla (70B parámetros, 1.4T tokens) validó esta hipótesis: utilizando el mismo presupuesto de cómputo que Gopher (280B parámetros), pero con un cuarto de los parámetros y 4× más datos, superó consistentemente a Gopher y a modelos aún mayores como MT-NLG (530B) en prácticamente todas las tareas evaluadas.
La ley Chinchilla tiene consecuencias profundas para la industria:
- Eficiencia en inferencia: Modelos más pequeños pero mejor entrenados son más baratos de desplegar.
- Cuello de botella de datos: El factor limitante pasa a ser la disponibilidad de datos de calidad, no el tamaño del modelo.
- Sostenibilidad: Entrenar modelos compute-óptimos reduce el consumo energético sin sacrificar rendimiento.
Modelos posteriores como LLaMA (Meta, 2023) y Mistral (2023) adoptaron explícitamente esta filosofía.
2.3.2 Capacidades emergentes
Uno de los fenómenos más intrigantes del escalado es la aparición de capacidades emergentes: habilidades que están ausentes en modelos pequeños, permanecen en rendimiento aleatorio durante varios órdenes de magnitud de escala, y “emergen” abruptamente al superar cierto umbral (Wei et al., 2022).
Wei et al. documentan múltiples ejemplos de emergencia en el benchmark BIG-Bench: aritmética de tres dígitos, transliteración fonética, desciframiento de palabras, y resolución de problemas matemáticos verbales aparecen súbitamente en modelos que superan aproximadamente 10²² FLOPs de entrenamiento o 10-100 mil millones de parámetros, dependiendo de la tarea.
Código
library(ggplot2)
library(dplyr)
# Simular datos de capacidad emergente
set.seed(123)
scale_points <- 10^seq(7, 12, by = 0.5)
n_points <- length(scale_points)
emergent_data <- tibble(
scale = rep(scale_points, 3),
task = rep(c("Aritmética 3 dígitos", "Transliteración IPA", "Word unscramble"),
each = n_points),
accuracy = c(
# Aritmética: emerge ~10^10
ifelse(scale_points < 1e10, runif(n_points, 0, 10),
pmin(100, 20 + 70 * log10(scale_points/1e10) + rnorm(n_points, 0, 3))),
# Transliteración: emerge ~10^11
ifelse(scale_points < 5e10, runif(n_points, 0, 8),
pmin(100, 15 + 60 * log10(scale_points/5e10) + rnorm(n_points, 0, 4))),
# Word unscramble: emerge ~10^10.5
ifelse(scale_points < 3e10, runif(n_points, 0, 12),
pmin(100, 10 + 65 * log10(scale_points/3e10) + rnorm(n_points, 0, 3)))
)
) %>%
mutate(accuracy = pmax(0, pmin(100, accuracy)))
p_emergent <- ggplot(emergent_data, aes(x = scale, y = accuracy, color = task)) +
geom_line(linewidth = 1.2) +
geom_point(size = 2) +
geom_hline(yintercept = 25, linetype = "dashed", color = "gray50", alpha = 0.7) +
annotate("text", x = 1e8, y = 28, label = "Rendimiento aleatorio",
size = 3, color = "gray40") +
scale_x_log10(
breaks = 10^(7:12),
labels = c("10⁷", "10⁸", "10⁹", "10¹⁰", "10¹¹", "10¹²")
) +
scale_color_viridis_d(option = "turbo", begin = 0.1, end = 0.8) +
labs(
title = "Capacidades emergentes: aparición abrupta con la escala",
subtitle = "Rendimiento aleatorio hasta umbral crítico, luego mejora rápida",
x = "Cómputo de entrenamiento (FLOPs)",
y = "Precisión (%)",
color = "Tarea"
) +
theme_minimal(base_size = 12) +
theme(
plot.title = element_text(face = "bold"),
legend.position = "bottom"
)
p_emergentEste fenómeno tiene implicaciones profundas para la predicción y gobernanza de la IA: si ciertas capacidades —incluyendo potencialmente capacidades peligrosas— emergen de forma impredecible al escalar, anticipar los riesgos de sistemas futuros se vuelve inherentemente difícil.
Blaise Agüera y Arcas, vicepresidente de Google y líder del grupo Paradigms of Intelligence, ejemplifica la posición de quienes, desde el interior de las grandes tecnológicas, defienden que las capacidades de los LLMs no requieren explicaciones especiales más allá de la escala. En una entrevista reciente, Agüera relata cómo los predictores de texto para teclados móviles a principios de los años 2010 le llevaron a asumir que estos modelos “no pasarían de hacer coincidir patrones”. Sin embargo, cuando los modelos crecieron y se entrenaron con datos masivos de internet, comenzaron a resolver correctamente problemas de razonamiento:
“Me vi obligado a revisar mi idea de que la inteligencia requería algún tipo de ‘polvo de hadas’. Resulta que no, solo se trataba de hacer más grandes los modelos” (Agüera y Arcas, 2025).
Esta posición representa la versión más optimista de las leyes de escala: la capacidad emergente no como anomalía sino como consecuencia predecible del aumento de parámetros, datos y cómputo. Agüera señala que la predicción del siguiente token —la tarea aparentemente trivial con la que se entrenan los LLMs— constituye en sí misma una forma de inteligencia funcional.
2.4 El paradigma de preentrenamiento y ajuste
Los grandes modelos de lenguaje (LLMs) siguen un esquema de entrenamiento en fases que ha demostrado ser extraordinariamente efectivo:
2.4.1 Fase 1: Preentrenamiento autoregresivo
El modelo se entrena sobre enormes corpus de texto (billones de tokens) con una tarea aparentemente simple: predecir el siguiente token dada una secuencia de contexto. Matemáticamente, el objetivo es maximizar la verosimilitud:
\[\mathcal{L}(\theta) = \sum_{i=1}^{N} \log P(x_i | x_1, x_2, ..., x_{i-1}; \theta)\]
Este proceso, que requiere miles de GPUs durante meses, permite al modelo adquirir implícitamente:
- Conocimiento lingüístico: Gramática, sintaxis, semántica
- Conocimiento factual: Hechos del mundo codificados en los datos de entrenamiento
- Patrones de razonamiento: Estructuras argumentativas, inferencias causales
- Diversidad estilística: Registros formales, coloquiales, técnicos
Como señalan Brown et al. (Brown et al., 2020), este preentrenamiento masivo produce modelos que funcionan como “aprendices de pocos ejemplos” (few-shot learners): pueden realizar tareas nuevas con solo unos pocos ejemplos en el prompt, sin actualización de parámetros.
2.4.2 Fase 2: Ajuste fino supervisado (SFT)
El modelo preentrenado es fundamentalmente una “máquina de completar texto”: dado un inicio, genera la continuación más probable. Para convertirlo en un asistente útil que siga instrucciones, se realiza un ajuste fino supervisado (Supervised Fine-Tuning, SFT) con pares (instrucción, respuesta deseada) anotados por humanos.
2.4.3 Fase 3: Aprendizaje por refuerzo con retroalimentación humana (RLHF)
El avance metodológico que catalizó la era de ChatGPT fue el RLHF (Reinforcement Learning from Human Feedback), desarrollado y refinado por Ouyang et al. (Ouyang et al., 2022) de OpenAI. El proceso consta de tres pasos:
Entrenamiento de modelo de recompensa: Evaluadores humanos comparan pares de respuestas del modelo a la misma pregunta e indican cuál prefieren. Estas preferencias entrenan un modelo de recompensa (RM) que predice la preferencia humana.
Optimización con PPO: El modelo de lenguaje se ajusta mediante Proximal Policy Optimization (PPO) para maximizar la recompensa predicha, con restricciones para evitar desviaciones excesivas del modelo original.
Iteración: El proceso puede repetirse, recogiendo nuevas preferencias sobre el modelo mejorado.
Código
library(ggplot2)
library(dplyr)
# Datos comparativos de costes y preferencias
rlhf_data <- tibble(
fase = factor(c("Preentrenamiento", "SFT", "RLHF"),
levels = c("Preentrenamiento", "SFT", "RLHF")),
petaflops_days = c(3640, 4.9, 60),
porcentaje = c(98.2, 0.13, 1.62)
)
# Datos de preferencia humana
preferencia_data <- tibble(
comparacion = c("InstructGPT 1.3B vs GPT-3 175B",
"InstructGPT vs FLAN",
"InstructGPT vs T0"),
preferencia_instructgpt = c(85, 78, 79),
descripcion = c("Modelo 100× más pequeño\npreferido",
"vs fine-tuning en tareas NLP",
"vs fine-tuning en tareas NLP")
)
p_rlhf_cost <- ggplot(rlhf_data, aes(x = fase, y = porcentaje, fill = fase)) +
geom_col(width = 0.6, show.legend = FALSE) +
geom_text(aes(label = sprintf("%.1f%%", porcentaje)),
vjust = -0.5, fontface = "bold", size = 4) +
scale_fill_manual(values = c("#264653", "#2A9D8F", "#E9C46A")) +
labs(
title = "Distribución del costo computacional por fase",
subtitle = "El ajuste (SFT + RLHF) representa <2% del costo total",
x = NULL,
y = "Porcentaje del costo total"
) +
theme_minimal(base_size = 12) +
theme(
plot.title = element_text(face = "bold"),
axis.text.x = element_text(size = 11, face = "bold")
) +
ylim(0, 105)
p_rlhf_costEl resultado más sorprendente de Ouyang et al. fue que InstructGPT de 1.3B parámetros era preferido por los evaluadores humanos sobre GPT-3 de 175B —un modelo 100× más grande— en la mayoría de las tareas. Esto demostró que el RLHF es más costo-efectivo para mejorar la utilidad que simplemente escalar el modelo base.
El RLHF no está exento de problemas:
- Sesgo de los evaluadores: Las preferencias reflejan los valores y sesgos del grupo específico de anotadores
- Reward hacking: El modelo puede aprender a “engañar” al modelo de recompensa sin mejorar genuinamente
- Pérdida de diversidad: La optimización puede reducir la variedad de respuestas
- Costo de supervisión: El proceso requiere evaluación humana continua
2.5 Limitaciones fundamentales: el problema de las alucinaciones
A pesar de sus capacidades impresionantes, los LLMs exhiben una limitación fundamental que compromete su fiabilidad: las alucinaciones —generación de contenido que es fluido y convincente pero factualmente incorrecto o sin fundamento en la realidad.
2.5.1 Definición y tipología
Huang et al. proponen una taxonomía (Huang et al., 2025, p. 42:2) que distingue:
- Alucinaciones intrínsecas: Outputs que contradicen directamente el contexto proporcionado
- Alucinaciones extrínsecas: Outputs que no pueden verificarse con el contexto dado ni con conocimiento externo
Farquhar et al. (Farquhar et al., 2024) refinan esta clasificación introduciendo el concepto de confabulación: respuestas que son simultáneamente incorrectas y arbitrarias —es decir, sensibles a detalles irrelevantes como la semilla aleatoria. Por ejemplo, ante la pregunta médica “¿Cuál es el objetivo de Sotorasib?”, un LLM puede responder “KRAS G12C” (correcto) o “KRAS G12D” (incorrecto) dependiendo de la ejecución, pese a instrucciones idénticas.
Según la clasificación de (Huang et al., 2025, pp. 42:6-42:13), las alucinaciones en modelos de lenguaje se organizan en dos categorías principales con múltiples causas:
A. Tipos de alucinación
| Tipo | Subtipo | Descripción |
|---|---|---|
| Factualidad | Inconsistencia factual | Contenido que contradice hechos verificables del mundo real |
| No verificable | Afirmaciones que no pueden corroborarse con fuentes existentes | |
| Fidelidad | Inconsistencia con instrucciones | El output se desvía de lo solicitado por el usuario |
| Inconsistencia contextual | Discrepancia con el contexto proporcionado | |
| Inconsistencia lógica | Contradicciones internas en el razonamiento generado |
B. Causas por fase del ciclo de desarrollo y uso de un modelo de IA (pipeline)
Datos de entrenamiento: Desinformación en corpus web (imitative falsehoods), sesgos sociales amplificados, y límites inherentes del conocimiento parametrizado.
Proceso de entrenamiento: Deficiencias en pre-entrenamiento, supervised fine-tuning (SFT) con ejemplos de baja calidad, y desalineamiento inducido por RLHF que prioriza fluidez sobre veracidad.
Fase de inferencia: Estrategias de decodificación subóptimas, sobreconfianza del modelo (overconfidence), cuello de botella del softmax, y fallos en cadenas de razonamiento.
2.5.2 Detección mediante entropía semántica
Farquhar y colaboradores desarrollaron un método probabilístico para detectar confabulaciones basado en la entropía semántica: en lugar de medir la variabilidad de las palabras generadas (que sería alta incluso para paráfrasis correctas), miden la variabilidad de los significados. Si el modelo genera respuestas que significan cosas diferentes ante la misma pregunta, la entropía semántica es alta, indicando probable confabulación (Farquhar et al., 2024).
Código
library(ggplot2)
library(dplyr)
library(tidyr)
# Datos simulados de entropía semántica
set.seed(456)
n <- 100
detection_data <- tibble(
pregunta_id = 1:n,
semantic_entropy = c(
rnorm(60, mean = 0.3, sd = 0.15), # Baja entropía (respuestas correctas)
rnorm(40, mean = 0.85, sd = 0.12) # Alta entropía (confabulaciones)
),
es_correcto = c(rep(TRUE, 60), rep(FALSE, 40))
) %>%
mutate(
semantic_entropy = pmax(0, pmin(1, semantic_entropy)),
clasificacion = ifelse(es_correcto, "Respuesta correcta", "Confabulación")
)
p_entropy <- ggplot(detection_data, aes(x = semantic_entropy, fill = clasificacion)) +
geom_histogram(bins = 25, alpha = 0.8, position = "identity", color = "white") +
geom_vline(xintercept = 0.6, linetype = "dashed", color = "gray30", linewidth = 1) +
annotate("text", x = 0.62, y = 12, label = "Umbral de\ndetección",
hjust = 0, size = 3.5, color = "gray30") +
scale_fill_manual(values = c("Confabulación" = "#E63946",
"Respuesta correcta" = "#2A9D8F")) +
labs(
title = "Detección de confabulaciones mediante entropía semántica",
subtitle = "Respuestas con alta variabilidad semántica indican probable alucinación",
x = "Entropía semántica (0 = consistente, 1 = variable)",
y = "Número de preguntas",
fill = "Tipo de respuesta"
) +
theme_minimal(base_size = 12) +
theme(
plot.title = element_text(face = "bold"),
legend.position = "bottom"
)
p_entropyEste método ha demostrado capacidad de detección superior a baselines en múltiples datasets (TriviaQA, BioASQ, SQuAD), sin requerir conocimiento previo del dominio. Sin embargo, como reconocen los autores, no garantiza factualidad: funciona para confabulaciones (errores arbitrarios) pero no para errores sistemáticos causados por datos de entrenamiento defectuosos o sesgados.
2.5.3 Causas estructurales
Las alucinaciones no son un “bug” que pueda parchearse fácilmente; emergen de la arquitectura misma de los LLMs (Huang et al., 2025):
Objetivo de entrenamiento: Predecir el “siguiente token más probable” no es equivalente a generar información verdadera. Un modelo perfectamente entrenado reproduciría las distribuciones de su corpus, incluyendo errores, mitos y contradicciones.
Compresión lossy: Con billones de tokens comprimidos en millones de parámetros, los hechos individuales no se almacenan explícitamente sino como patrones estadísticos difusos.
Ausencia de grounding: Los LLMs no tienen acceso directo al mundo; su “conocimiento” es puramente textual, sin verificación empírica.
Presión hacia la fluidez: El RLHF optimiza respuestas que los humanos prefieren, lo que puede favorecer respuestas fluidas pero incorrectas sobre admisiones de incertidumbre.
Las alucinaciones imponen límites al despliegue responsable de LLMs:
- En medicina, un LLM puede citar precedentes legales inexistentes o fabricar interacciones farmacológicas (Farquhar et al., 2024, p. 625)
- En periodismo, puede generar citas atribuidas a personas reales que nunca las pronunciaron
- En educación, puede producir explicaciones plausibles pero factualmente erróneas
Cualquier aplicación de alto riesgo requiere verificación humana o sistemas de recuperación aumentada (RAG) que anclen las respuestas a fuentes verificables.
Este capítulo ha presentado los fundamentos técnicos de la IA generativa contemporánea: la arquitectura Transformer y su mecanismo de autoatención, las leyes de escalado que gobiernan el rendimiento, el paradigma de preentrenamiento y ajuste con RLHF, y las limitaciones estructurales como las alucinaciones. Estos elementos constituyen la infraestructura sobre la que se construyen las aplicaciones y riesgos que se analizan en los capítulos siguientes.
2.6 De modelos de texto a sistemas multimodales
2.6.1 La convergencia de modalidades
Una evolución crucial posterior a 2023 ha sido la extensión de los transformers más allá del texto. Los modelos multimodales actuales procesan y generan contenido en múltiples formatos: imágenes (DALL-E 3, Midjourney, Stable Diffusion), audio (Whisper, MusicGen, Suno), vídeo (Sora, Runway Gen-3) y combinaciones integradas (Ling Teo et al., 2025).
La arquitectura subyacente sigue principios similares: se aprenden representaciones conjuntas de diferentes tipos de datos en un espacio vectorial compartido (embedding space), lo que permite tareas de traducción entre modalidades. Técnicas como CLIP (Contrastive Language-Image Pre-training) han demostrado que el aprendizaje contrastivo puede alinear representaciones visuales y textuales de manera efectiva.
GPT-4, con capacidad de procesar texto e imágenes simultáneamente, ejemplifica esta convergencia: en el informe técnico de OpenAI, demostró capacidad para describir imágenes complejas, resolver problemas matemáticos presentados visualmente, interpretar gráficos científicos y mantener conversaciones sobre contenido visual. Según Briggs y Kodnani (Briggs et al., 2023), GPT-4 obtiene 150 puntos más en el SAT que su predecesor y es 40% más preciso en sus respuestas.
Código
library(ggplot2)
library(dplyr)
library(tidyr)
benchmarks_multimodal <- tibble(
Benchmark = c("MMLU\n(conocimiento)", "HellaSwag\n(sentido común)",
"WinoGrande\n(razonamiento)", "ARC-C\n(ciencia)",
"VQA v2\n(visual QA)", "TextVQA\n(texto en imagen)"),
`GPT-3.5` = c(70.0, 85.5, 81.6, 85.2, NA, NA),
`GPT-4 (texto)` = c(86.4, 95.3, 87.5, 96.3, NA, NA),
`GPT-4V (vision)` = c(86.4, 95.3, 87.5, 96.3, 77.2, 78.0),
`Gemini Ultra` = c(90.0, 87.8, 83.7, 83.7, 77.8, 82.3)
) %>%
pivot_longer(-Benchmark, names_to = "Modelo", values_to = "Score") %>%
filter(!is.na(Score))
ggplot(benchmarks_multimodal, aes(x = Benchmark, y = Score, fill = Modelo)) +
geom_col(position = position_dodge(width = 0.8), width = 0.7) +
geom_text(aes(label = round(Score, 1)),
position = position_dodge(width = 0.8),
vjust = -0.3, size = 2.5) +
scale_fill_brewer(palette = "Set2") +
scale_y_continuous(limits = c(0, 100), expand = c(0, 0)) +
labs(
title = "Rendimiento comparado de modelos fundacionales",
subtitle = "Benchmarks de texto y visión-lenguaje",
x = NULL,
y = "Puntuación (%)",
fill = "Modelo",
caption = "Fuente: OpenAI GPT-4 Technical Report (2023), Google Gemini Report (2023)"
) +
theme_minimal(base_size = 10) +
theme(
plot.title = element_text(face = "bold"),
axis.text.x = element_text(angle = 0, hjust = 0.5, size = 8),
legend.position = "bottom"
)2.6.2 Taxonomía de sistemas generativos por modalidad
Tabla 1 presenta una caracterización detallada del ecosistema multimodal, incluyendo arquitecturas subyacentes y limitaciones técnicas conocidas.
Código
modalidades_ampliada <- tibble(
Modalidad = c("Texto → Texto", "Texto → Imagen", "Imagen → Texto",
"Texto → Audio", "Texto → Vídeo", "Texto → Código",
"Multimodal integrado"),
`Sistemas líderes` = c(
"GPT-4o, Claude 3.5, Gemini 2.0, LLaMA 3",
"DALL-E 3, Midjourney v6, Flux, SD XL",
"GPT-4V, LLaVA, Gemini Pro Vision",
"Eleven Labs, Suno AI, MusicGen",
"Sora, Runway Gen-3, Kling, Pika",
"GitHub Copilot, Cursor, Claude Code",
"GPT-4o, Gemini 2.0, Claude 3.5 Sonnet"
),
Arquitectura = c(
"Transformer autoregresivo",
"Diffusion + CLIP/T5",
"Vision Transformer + LLM",
"Diffusion / Autoregresivo",
"Diffusion temporal 3D",
"Transformer + AST",
"Transformer unificado"
),
`Desafíos principales` = c(
"Alucinaciones, ventana contexto",
"Coherencia anatómica, texto en imagen",
"Razonamiento espacial complejo",
"Naturalidad prosodia, control fino",
"Coherencia temporal, física, coste",
"Bugs sutiles, seguridad código",
"Latencia, coste computacional"
)
)
tabla_bonita(modalidades_ampliada)| Modalidad | Sistemas líderes | Arquitectura | Desafíos principales |
|---|---|---|---|
| Texto → Texto | GPT-4o, Claude 3.5, Gemini 2.0, LLaMA 3 | Transformer autoregresivo | Alucinaciones, ventana contexto |
| Texto → Imagen | DALL-E 3, Midjourney v6, Flux, SD XL | Diffusion + CLIP/T5 | Coherencia anatómica, texto en imagen |
| Imagen → Texto | GPT-4V, LLaVA, Gemini Pro Vision | Vision Transformer + LLM | Razonamiento espacial complejo |
| Texto → Audio | Eleven Labs, Suno AI, MusicGen | Diffusion / Autoregresivo | Naturalidad prosodia, control fino |
| Texto → Vídeo | Sora, Runway Gen-3, Kling, Pika | Diffusion temporal 3D | Coherencia temporal, física, coste |
| Texto → Código | GitHub Copilot, Cursor, Claude Code | Transformer + AST | Bugs sutiles, seguridad código |
| Multimodal integrado | GPT-4o, Gemini 2.0, Claude 3.5 Sonnet | Transformer unificado | Latencia, coste computacional |
2.6.3 Hacia sistemas autónomos capaces de coordinar acciones
La frontera actual (2025) se orienta hacia IA agéntica: sistemas que no solo generan contenido sino que ejecutan acciones autónomas en entornos digitales. Los agentes LLM combinan modelos de lenguaje con capacidades de planificación, uso de herramientas y razonamiento iterativo (Schmidgall et al., 2025).
Plataformas (frameworks) como Agent Laboratory demuestran LLMs completando el ciclo completo de investigación científica —desde revisión bibliográfica hasta redacción de informes— con costes de apenas 2,33 USD por paper. CRISPR-GPT (Qu et al., 2025) automatiza flujos de trabajo de edición genética, integrando selección de sistemas CRISPR, diseño de guías RNA y análisis de resultados experimentales.
Los sistemas basados en agentes (“agénticos”) representan un cambio cualitativo respecto a los chatbots conversacionales:
- Planificación: Descomposición de objetivos complejos en subtareas manejables
- Uso de herramientas: Invocación de APIs, búsquedas web, ejecución de código
- Memoria: Mantenimiento de contexto a través de interacciones largas
- Reflexión: Evaluación y corrección de errores propios
Esta evolución transforma los LLMs de generadores de texto a agentes capaces de interactuar con sistemas del mundo real, planteando nuevas cuestiones de seguridad y control.
📚 Referencias del capítulo
- Vaswani et al. (2017) — Arquitectura Transformer original
- Brown et al. (2020) — GPT-3 y aprendizaje few-shot
- Wei et al. (2022) — Capacidades emergentes en LLMs
- Hoffmann et al. (2022) — Leyes de escalado Chinchilla
- Briggs et al. (2023) — Impacto económico de IA generativa
- Ling Teo et al. (2025) — IA generativa en medicina
- Schmidgall et al. (2025) — Agentes LLM como asistentes de investigación
3 El ecosistema de actores: desarrolladores, plataformas y reguladores
3.1 Los gigantes tecnológicos y la concentración del mercado
El desarrollo de IA generativa de frontera está dominado por un reducido grupo de actores con los recursos necesarios para invertir miles de millones de dólares en infraestructura, datos y talento. Según estimaciones de Goldman Sachs, este oligopolio controla más del 80% del mercado de modelos de frontera (Briggs et al., 2023).
OpenAI (fundada en 2015 como organización sin ánimo de lucro, reconvertida en empresa con fines de lucro “limitado” en 2019) ha liderado la carrera con las series GPT. Su alianza estratégica con Microsoft (que ha invertido más de 13.000 millones de dólares) le proporciona acceso a infraestructura cloud de Azure y canales de distribución masiva. ChatGPT alcanzó 100 millones de usuarios activos en solo dos meses tras su lanzamiento, el crecimiento más rápido de cualquier aplicación de consumo en la historia.
Google DeepMind (resultado de la fusión en 2023 de DeepMind y Google Brain) combina la potencia computacional de Google con el historial investigador de DeepMind. Sus modelos Gemini compiten directamente con GPT-4, mientras AlphaFold ha revolucionado la predicción de estructuras proteicas con implicaciones transformadoras para el descubrimiento de fármacos.
Anthropic (fundada en 2021 por exempleados de OpenAI preocupados por la seguridad) desarrolla la familia Claude con un enfoque explícito en “IA constitucional”. Ha recibido inversiones superiores a 7.000 millones de dólares de Amazon y Google, posicionándose como la alternativa centrada en seguridad.
Meta AI apuesta por el código abierto con la familia LLaMA, permitiendo que investigadores y empresas adapten sus modelos libremente. LLaMA 2 y 3 han dinamizado el ecosistema de modelos abiertos, aunque con restricciones de uso comercial para aplicaciones de gran escala.
Otros actores relevantes incluyen Mistral AI (Francia), xAI (Elon Musk), Cohere (Canadá), y los gigantes chinos (Baidu con ERNIE, Alibaba con Qwen, ByteDance con Doubao) con desarrollos notables pero menor presencia en mercados occidentales debido a barreras regulatorias y lingüísticas.
Código
library(ggplot2)
library(dplyr)
market_data <- tibble(
empresa = c("OpenAI/Microsoft", "Google DeepMind", "Anthropic",
"Meta (open source)", "Mistral AI", "Otros"),
cuota = c(42, 28, 12, 8, 5, 5),
inversion_B = c(13.0, NA, 7.3, NA, 1.1, NA) # NA para divisiones internas
)
ggplot(market_data, aes(x = reorder(empresa, cuota), y = cuota)) +
geom_col(aes(fill = cuota), width = 0.7) +
geom_text(aes(label = paste0(cuota, "%")), hjust = -0.2, fontface = "bold", size = 4) +
coord_flip() +
scale_fill_gradient(low = "#85c1e9", high = "#1a5276", guide = "none") +
scale_y_continuous(limits = c(0, 55), expand = c(0, 0)) +
labs(
title = "Cuota de mercado en LLMs de frontera (2025)",
subtitle = "Estimación basada en uso empresarial y llamadas a API",
x = NULL,
y = "Cuota de mercado (%)",
caption = "Fuente: Estimaciones basadas en Goldman Sachs (2023), informes de analistas"
) +
theme_minimal(base_size = 11) +
theme(
plot.title = element_text(face = "bold"),
panel.grid.major.y = element_blank()
)3.2 Infraestructura y cadena de suministro crítica
El entrenamiento de grandes modelos requiere infraestructura especializada cuyo control confiere ventaja competitiva estratégica.
3.2.1 Hardware: el cuello de botella de los semiconductores
NVIDIA domina el mercado de GPUs para IA con cuotas superiores al 80%. Sus chips H100 y B100 se han convertido en activos geopolíticos: las restricciones de exportación de Estados Unidos a China (octubre 2022, actualización octubre 2023) prohíben la venta de chips avanzados, fragmentando el mercado global. El coste de entrenar un modelo de frontera se estima entre 50-100 millones de dólares solo en cómputo, según datos derivados de Sevilla et al. (2022).
3.2.2 Datos: el recurso escaso emergente
Los corpus de entrenamiento —textos de Internet, libros digitalizados, código de repositorios— plantean cuestiones críticas. Múltiples demandas judiciales (New York Times vs. OpenAI, Getty Images vs. Stability AI) cuestionan el uso de contenido protegido. Además, se estima que el texto de alta calidad disponible en Internet podría agotarse antes de 2028 al ritmo actual de consumo (Villalobos et al., 2022), convirtiendo los datos en el nuevo cuello de botella.
3.2.3 Demanda energética, fronteras y sostenibilidad
El crecimiento exponencial del consumo energético de la IA plantea un desafío de sostenibilidad que las grandes tecnológicas comienzan a abordar con soluciones heterodoxas. Blaise Agüera-Arcas, desde Google, ha impulsado el proyecto Suncatcher: un plan a largo plazo para trasladar centros de datos al espacio, donde la energía solar es 1010 veces más intensa que en la superficie terrestre (Agüera y Arcas, 2025).
El planteamiento responde a una dinámica bien conocida en economía: la paradoja de Jevons. Según Agüera-Arcas, el desarrollo de sistemas de IA más eficientes conllevará un aumento de la demanda, por lo que un enfoque centrado solo en las mejoras de eficiencia por el lado de la demanda no resolverán el problema; la solución debe venir por el lado de la oferta energética (Agüera y Arcas et al., 2024, ch. 10).
Mientras tanto, sugiere optar por las estrategias intermedias, que incluyen hacer la IA más eficiente computacionalmente (el cerebro humano opera con apenas 20 vatios), impulsar la energía nuclear —“mucho más limpia, saludable y segura que el carbón”— y expandir la solar terrestre. El proyecto Suncatcher representa la apuesta más ambiciosa: “los sistemas altamente integrados, producidos en masa en el espacio, son la solución a largo plazo”, si se consideran los riesgos disruptivos en las cadenas de suministro energético (Agüera y Arcas, 2025).
3.3 El paisaje regulatorio emergente
La respuesta regulatoria ha sido heterogénea pero crecientemente activa, con tres modelos principales compitiendo por establecer estándares globales.
3.3.1 Unión Europea: el AI Act como modelo prescriptivo
El Reglamento de IA (AI Act, Reglamento UE 2024/1689), en vigor desde agosto de 2024, establece el marco regulatorio más comprehensivo a nivel mundial (European Parliament and Council, 2024). Sus características principales incluyen:
- Enfoque basado en riesgos: Categorización de sistemas en riesgo inaceptable (prohibidos), alto, limitado y mínimo
- Prohibiciones explícitas: Puntuación social, manipulación subliminal, vigilancia biométrica masiva en espacios públicos
- Obligaciones para GPAI: Los modelos de propósito general con “riesgo sistémico” (umbral de 10²⁵ FLOPs) deben cumplir requisitos adicionales de evaluación y transparencia
- Gobernanza multinivel: AI Office europeo, AI Board, Panel Científico y autoridades nacionales (Novelli et al., 2025)
Código
# Datos del calendario del AI Act
aiact_timeline <- tibble(
fase = c(
"Prohibiciones\n(Art. 5)",
"GPAI +\ncódigos práctica",
"Alto riesgo\n(Anexo III)",
"Sistemas\nAnexo I"
),
fecha = as.Date(c(
"2025-02-01",
"2025-08-01",
"2026-08-01",
"2027-08-01"
)),
y_pos = c(1, 2, 1, 2)
)
# Gráfico del timeline
ggplot(aiact_timeline, aes(x = fecha, y = y_pos)) +
geom_segment(
aes(
x = as.Date("2024-10-01"),
xend = as.Date("2028-01-01"),
y = 1.5, yend = 1.5
),
color = "#2c3e50", linewidth = 0.8
) +
geom_segment(
aes(xend = fecha, yend = 1.5),
color = "#2c3e50", linewidth = 1
) +
geom_point(size = 6, color = "#3498db") +
geom_text(
aes(label = format(fecha, "%b\n%Y")),
y = 1.5, size = 3, fontface = "bold"
) +
geom_label(
aes(label = fase),
y = c(0.7, 2.3, 0.7, 2.3),
size = 2.8, fill = "#ecf0f1", label.size = 0.3
) +
scale_x_date(
limits = as.Date(c("2024-10-01", "2028-01-01")),
breaks = seq(as.Date("2025-01-01"), as.Date("2027-12-01"), by = "1 year"),
date_labels = "%Y"
) +
scale_y_continuous(limits = c(0, 3)) +
labs(
title = "Calendario de implementación del AI Act (UE 2024/1689)",
subtitle = "Entrada en vigor progresiva desde agosto 2024",
x = NULL, y = NULL,
caption = "Fuente: Reglamento UE 2024/1689, Novelli et al. (2024)"
) +
theme_minimal(base_size = 10) +
theme(
plot.title = element_text(face = "bold"),
axis.text = element_blank(),
axis.ticks = element_blank()
)3.3.2 Estados Unidos: principios sin legislación vinculante
El enfoque estadounidense es más fragmentado:
- Orden Ejecutiva 14110 (octubre 2023): Establece ocho principios guía para IA segura, incluyendo requisitos de notificación para modelos que superen ciertos umbrales de cómputo (The White House, 2023)
- NIST AI Risk Management Framework (AI RMF 1.0): Marco voluntario con cuatro funciones —GOVERN, MAP, MEASURE, MANAGE— para gestión de riesgos (National Institute of Standards and Technology, 2023)
- Regulación estatal: California, Colorado y otros estados han promulgado normativas propias
Tabla 2 resume las diferencias entre los principales marcos regulatorios.
Código
regulacion_ampliada <- tibble(
Aspecto = c("Marco principal", "Naturaleza", "Enfoque de riesgo",
"Sanciones máximas", "Modelos fundacionales"),
`Unión Europea` = c(
"AI Act (2024/1689)",
"Vinculante, prescriptivo",
"4 niveles: inaceptable → mínimo",
"35M€ o 7% facturación",
"Obligaciones >10²⁵ FLOPs"
),
`Estados Unidos` = c(
"EO 14110 + NIST AI RMF",
"Orientativo + sectorial",
"Basado en casos de uso",
"Variable por agencia",
"Notificación dual-use"
),
`Reino Unido` = c(
"Pro-innovation approach",
"Principios, no prescriptivo",
"Proporcionalidad contextual",
"En definición",
"Sandbox regulatorio"
),
China = c(
"Regulaciones específicas",
"Vinculante, control contenido",
"Por tecnología",
"Administrativas + penales",
"Registro obligatorio"
)
)
tabla_bonita(regulacion_ampliada)| Aspecto | Unión Europea | Estados Unidos | Reino Unido | China |
|---|---|---|---|---|
| Marco principal | AI Act (2024/1689) | EO 14110 + NIST AI RMF | Pro-innovation approach | Regulaciones específicas |
| Naturaleza | Vinculante, prescriptivo | Orientativo + sectorial | Principios, no prescriptivo | Vinculante, control contenido |
| Enfoque de riesgo | 4 niveles: inaceptable → mínimo | Basado en casos de uso | Proporcionalidad contextual | Por tecnología |
| Sanciones máximas | 35M€ o 7% facturación | Variable por agencia | En definición | Administrativas + penales |
| Modelos fundacionales | Obligaciones >10²⁵ FLOPs | Notificación dual-use | Sandbox regulatorio | Registro obligatorio |
La ausencia de armonización internacional crea riesgos significativos:
- Arbitraje regulatorio: Empresas ubicándose en jurisdicciones más permisivas
- Fragmentación tecnológica: Modelos diferentes para mercados diferentes
- Carreras hacia el mínimo: Presión competitiva reduciendo estándares de seguridad
Las cumbres de Bletchley Park (2023) y Seúl (2024) han producido declaraciones de intenciones, pero sin mecanismos vinculantes de implementación.
3.4 Impacto económico: proyecciones y evidencia temprana
Las estimaciones sobre el impacto económico de la IA generativa convergen en anticipar efectos transformadores. Goldman Sachs estima que podría aumentar el PIB global en un 7% (~7 billones USD) y elevar el crecimiento de la productividad laboral en 1,5 puntos porcentuales durante una década (Briggs et al., 2023).
Código
exposure_data <- tibble(
sector = c("Legal", "Administrativo", "Finanzas", "Informática",
"Arquitectura/Ing.", "Ciencias", "Educación", "Artes",
"Sanidad", "Ventas", "Gestión", "Producción", "Construcción"),
exposicion_alta = c(44, 46, 35, 29, 24, 23, 21, 18, 16, 15, 14, 6, 6),
exposicion_complementaria = c(35, 32, 45, 52, 58, 55, 57, 62, 60, 58, 62, 42, 38)
) %>%
mutate(exposicion_baja = 100 - exposicion_alta - exposicion_complementaria) %>%
tidyr::pivot_longer(-sector, names_to = "tipo", values_to = "porcentaje") %>%
mutate(tipo = factor(tipo,
levels = c("exposicion_baja", "exposicion_complementaria", "exposicion_alta"),
labels = c("Baja (<10%)", "Complemento (10-49%)", "Sustitución (>50%)")))
ggplot(exposure_data, aes(x = reorder(sector, -porcentaje), y = porcentaje, fill = tipo)) +
geom_col(position = "stack", width = 0.7) +
coord_flip() +
scale_fill_manual(values = c("#27ae60", "#f39c12", "#e74c3c")) +
labs(
title = "Exposición ocupacional a la automatización por IA generativa",
subtitle = "Porcentaje de tareas por nivel de exposición",
x = NULL, y = "Porcentaje del empleo sectorial (%)",
fill = "Exposición",
caption = "Fuente: Briggs & Kodnani, Goldman Sachs (2023)"
) +
theme_minimal(base_size = 10) +
theme(
plot.title = element_text(face = "bold"),
legend.position = "bottom",
axis.text.y = element_text(size = 9)
)La teoría económica sugiere dos efectos contrapuestos (Acemoglu & Restrepo, 2019): el efecto desplazamiento (automatización sustituyendo trabajadores) y el efecto reinstauración (creación de nuevas tareas). Históricamente el segundo ha dominado —el 60% de empleos actuales no existían en 1940— aunque desde los 1980s el desplazamiento supera la creación de nuevas tareas.
3.5 Tensiones estructurales del ecosistema
El ecosistema de IA está atravesado por tensiones que definirán su evolución en la próxima década. Los análisis prospectivos identifican escenarios divergentes cuya resolución dependerá de decisiones políticas, empresariales y académicas que se están tomando ahora.
Apertura vs. cierre: La tensión entre modelos abiertos (auditoría, adaptación, democratización) y propietarios (ventaja competitiva, control de riesgos) define una fractura estratégica. Meta apuesta por código abierto; OpenAI ha transitado hacia mayor cierre tras su transformación corporativa. Hazell (2023) advierte que la liberación de modelos open-source de alto rendimiento podría invalidar las estrategias de gobernanza basadas en acceso estructurado, ya que los usuarios tendrían acceso no monitorizado a capacidades avanzadas, incluyendo la posibilidad de fine-tuning para casos de uso malicioso.
Velocidad vs. seguridad: La presión competitiva incentiva lanzamientos rápidos, potencialmente a costa de pruebas exhaustivas. Los protocolos de evaluación de riesgos (RSPs de Anthropic, preparedness frameworks de OpenAI) intentan equilibrar innovación y precaución. Radanliev et al. (2025) argumentan que la resiliencia debe redefinirse no solo en términos técnicos, sino también de responsabilidad ética y adaptabilidad regulatoria, proponiendo un marco dinámico capaz de evolucionar con el panorama tecnológico.
Globalización vs. soberanía: Las restricciones de exportación de semiconductores, las preocupaciones sobre dependencia tecnológica y las aspiraciones de “soberanía de IA” en Europa, India y otros países fragmentan un campo que se beneficiaría de colaboración internacional. Simmons-Edler et al. (2024) advierten que China y Rusia han fijado 2028-2030 como horizonte para la automatización sustancial de sus fuerzas militares, mientras EE.UU. planea despliegues más tempranos. Esta carrera armamentística de sistemas autónomos amenaza con restringir la investigación civil en IA mediante controles de exportación, supervisión de publicaciones y compartimentación del conocimiento.
Los análisis de Briggs et al. (2023) proyectan que el impacto económico de la IA dependerá críticamente de su velocidad de adopción y capacidad final:
| Escenario | Automatización del empleo | Horizonte | Impacto en productividad |
|---|---|---|---|
| Conservador | 15% de tareas | 20-30 años | +0.5 pp/año |
| Base | 25% de tareas | 10 años | +1.5 pp/año |
| Expansivo (IA + robótica) | 35% de tareas | 10 años | +7% PIB global |
La incertidumbre sobre estos escenarios subraya la importancia de políticas adaptativas que puedan recalibrarse conforme se materialicen las capacidades reales de los sistemas.
📚 Referencias del capítulo
- European Parliament and Council (2024) — Reglamento europeo de IA
- Novelli et al. (2025) — Análisis de la gobernanza del AI Act
- The White House (2023) — Orden Ejecutiva de EE.UU. sobre IA
- National Institute of Standards and Technology (2023) — Marco de gestión de riesgos NIST
- Briggs et al. (2023) — Efectos económicos de la IA generativa
- Acemoglu & Restrepo (2019) — Automatización y nuevas tareas
PARTE II: APLICACIONES
4 IA para la ciencia: De AlphaFold a los agentes de investigación
4.1 La promesa de la IA científica
La aplicación de técnicas de aprendizaje automático a problemas científicos no es nueva, pero el salto cualitativo de los últimos años ha sido dramático. Los modelos de IA ya no solo procesan datos o identifican patrones; generan hipótesis, diseñan experimentos y, en algunos casos, ejecutan ciclos completos de investigación con mínima intervención humana.
Esta capacidad está reconfigurando campos tan diversos como la biología estructural, el descubrimiento de fármacos, la ciencia de materiales y las matemáticas. La convergencia de tres factores ha catalizado esta transformación: el escalado de modelos de aprendizaje profundo, la disponibilidad de bases de datos científicas masivas y el desarrollo de arquitecturas neuronales especializadas para datos estructurados (grafos moleculares, secuencias biológicas, estructuras cristalinas).
4.2 AlphaFold: Un paradigma de éxito
El caso emblemático es AlphaFold, desarrollado por DeepMind. El problema del plegamiento de proteínas —predecir la estructura tridimensional de una proteína a partir de su secuencia de aminoácidos— había resistido más de 50 años de esfuerzos y constituía uno de los grandes desafíos abiertos de la biología computacional (Jumper et al., 2021).
En la competición CASP14 (2020), AlphaFold 2 alcanzó una precisión sin precedentes: 0.96 Å de RMSD (desviación cuadrática media) en la predicción de estructuras de dominios proteicos, mientras que el siguiente mejor método lograba 2.8 Å. Para contextualizar, el ancho de un átomo de carbono es aproximadamente 1.4 Å, lo que significa que AlphaFold predice posiciones atómicas con precisión comparable a métodos experimentales como cristalografía de rayos X (Jumper et al., 2021).
Código
# Datos de precisión CASP14
casp_data <- tibble(
metodo = c("AlphaFold 2", "Segundo lugar", "Tercer lugar",
"Mejor método 2018", "Baseline físico"),
rmsd = c(0.96, 2.8, 3.1, 3.5, 4.2),
tipo = c("DeepMind", "Competidor", "Competidor", "Histórico", "Histórico")
)
ggplot(casp_data, aes(x = reorder(metodo, rmsd), y = rmsd, fill = tipo)) +
geom_col(width = 0.7) +
geom_hline(yintercept = 1.5, linetype = "dashed", color = "darkgreen", linewidth = 0.8) +
annotate("text", x = 4.5, y = 1.7, label = "Precisión experimental típica",
size = 3, color = "darkgreen") +
coord_flip() +
scale_fill_manual(values = c("DeepMind" = "#3498db", "Competidor" = "#95a5a6",
"Histórico" = "#bdc3c7")) +
labs(
title = "Precisión en predicción de estructuras proteicas (CASP14)",
subtitle = "RMSD en Ångströms (menor = mejor)",
x = NULL,
y = "RMSD (Å)"
) +
theme_minimal(base_size = 11) +
theme(
plot.title = element_text(face = "bold"),
legend.position = "none"
)La arquitectura de AlphaFold combina varios avances técnicos: el módulo Evoformer para procesar alineamientos de secuencias múltiples (MSA) y representaciones de pares de residuos; un módulo de estructura que genera coordenadas 3D explícitas; y un proceso de reciclaje iterativo que refina predicciones en múltiples pasadas. El modelo fue entrenado con aproximadamente 170,000 estructuras del Protein Data Bank (PDB) (Jumper et al., 2021).
La versión actual, AlphaFold 3, extiende las capacidades a complejos biomoleculares que incluyen ADN, ARN, ligandos y modificaciones químicas postraduccionales. Su arquitectura incorpora un módulo de difusión que maneja directamente coordenadas atómicas y un procesamiento de MSA simplificado (“Pairformer”). AlphaFold 3 predice interacciones proteína-ligando con precisión superior a métodos tradicionales de docking, lo que tiene implicaciones directas para el diseño de fármacos (Desai et al., 2024).
Código
# Datos de adopción de AlphaFold
alphafold_data <- tibble(
año = c(2021, 2022, 2023, 2024, 2025),
estructuras_millones = c(0.35, 200, 200, 200, 200),
publicaciones = c(500, 3500, 8500, 15000, 22000),
investigadores_millones = c(0.1, 0.5, 1.2, 2.1, 3.0)
)
p1 <- ggplot(alphafold_data, aes(x = año, y = publicaciones)) +
geom_line(color = "#3498db", linewidth = 1.5) +
geom_point(color = "#3498db", size = 4) +
geom_area(alpha = 0.2, fill = "#3498db") +
scale_y_continuous(labels = scales::comma) +
labs(
title = "Publicaciones citando AlphaFold",
x = NULL,
y = "Número de publicaciones"
) +
theme_minimal(base_size = 11) +
theme(plot.title = element_text(face = "bold", size = 11))
p2 <- ggplot(alphafold_data, aes(x = año, y = investigadores_millones)) +
geom_col(fill = "#2ecc71", width = 0.6) +
geom_text(aes(label = paste0(investigadores_millones, "M")),
vjust = -0.5, fontface = "bold") +
labs(
title = "Usuarios de AlphaFold DB",
x = NULL,
y = "Millones de usuarios"
) +
theme_minimal(base_size = 11) +
theme(plot.title = element_text(face = "bold", size = 11)) +
ylim(0, 3.5)
p1 + p2 +
plot_annotation(
title = "Impacto de AlphaFold en la comunidad científica",
theme = theme(plot.title = element_text(face = "bold", size = 14))
)Más de 3 millones de investigadores en 190 países han utilizado la base de datos de AlphaFold, que contiene predicciones para prácticamente todas las proteínas conocidas (>200 millones de estructuras). El impacto abarca desde vacunas contra la malaria hasta tratamientos oncológicos y diseño de enzimas para degradar plásticos. El reconocimiento de esta contribución llegó con el Premio Nobel de Química 2024, otorgado a Demis Hassabis y John Jumper (Desai et al., 2024).
4.3 Ciencia de materiales generativa: GNoME
La IA generativa está transformando también el descubrimiento de nuevos materiales. Tradicionalmente, la exploración del espacio de materiales procedía mediante ensayo y error experimental o simulaciones ab initio de teoría del funcional de densidad (DFT), procesos costosos y lentos. Las bases de datos computacionales como Materials Project y OQMD habían catalogado aproximadamente 48,000 materiales estables mediante décadas de trabajo.
GNoME (Graph Networks for Materials Exploration) de DeepMind transformó esta situación. Mediante redes neuronales de grafos entrenadas a gran escala con aprendizaje activo, GNoME identificó 2.2 millones de cristales inorgánicos estables, multiplicando por un orden de magnitud el número de materiales conocidos. De estos, 381,000 estructuras residen en el convex hull actualizado como descubrimientos genuinamente nuevos (Merchant et al., 2023).
Código
# Datos de GNoME
gnome_timeline <- tibble(
año = c(2019, 2020, 2021, 2022, 2023),
materiales = c(35000, 38000, 42000, 48000, 421000),
fuente = c(rep("Bases externas", 4), "GNoME + externas")
)
p1 <- ggplot(gnome_timeline, aes(x = año, y = materiales/1000, fill = fuente)) +
geom_col(width = 0.7) +
scale_fill_manual(values = c("Bases externas" = "#95a5a6",
"GNoME + externas" = "#e74c3c")) +
scale_y_continuous(labels = function(x) paste0(x, "K")) +
labs(
title = "Materiales estables conocidos",
x = NULL,
y = "Miles de estructuras",
fill = NULL
) +
theme_minimal(base_size = 11) +
theme(
plot.title = element_text(face = "bold", size = 11),
legend.position = "bottom"
)
# Precisión por elementos
gnome_precision <- tibble(
elementos = c("2", "3", "4", "5", "6"),
precision_mp = c(10, 8, 5, 2, 1),
precision_gnome = c(90, 85, 78, 65, 50)
)
gnome_long <- gnome_precision %>%
pivot_longer(cols = starts_with("precision"),
names_to = "sistema", values_to = "precision") %>%
mutate(sistema = ifelse(sistema == "precision_gnome", "GNoME", "Materials Project"))
p2 <- ggplot(gnome_long, aes(x = elementos, y = precision, fill = sistema)) +
geom_col(position = "dodge", width = 0.7) +
scale_fill_manual(values = c("GNoME" = "#3498db", "Materials Project" = "#bdc3c7")) +
labs(
title = "Precisión de predicción estable",
x = "Elementos únicos en compuesto",
y = "Hit rate (%)",
fill = NULL
) +
theme_minimal(base_size = 11) +
theme(
plot.title = element_text(face = "bold", size = 11),
legend.position = "bottom"
)
p1 + p2 +
plot_annotation(
title = "GNoME: Escalando el aprendizaje profundo para descubrir materiales",
theme = theme(plot.title = element_text(face = "bold", size = 14))
)Los modelos GNoME exhiben generalización emergente fuera de distribución: aunque fueron entrenados con estructuras de hasta 4 elementos, predicen con precisión estructuras de 5-6 elementos, un espacio combinatorio que había sido inaccesible para métodos previos. La validación incluye 736 estructuras verificadas experimentalmente de forma independiente, 84% de estabilidad confirmada mediante cálculos r²SCAN, y 45,500 nuevos prototipos estructurales (Merchant et al., 2023).
Código
gnome_comp <- tibble(
Métrica = c("Cristales estables", "Hit rate (estructura)", "Hit rate (composición)",
"Error energético", "Prototipos únicos"),
`Materials Project` = c("48,000", "~1%", "~1%", "—", "8,000"),
GNoME = c("421,000", ">80%", "33%", "11 meV/átomo", "45,500")
)
tabla_bonita(gnome_comp)| Métrica | Materials Project | GNoME |
|---|---|---|
| Cristales estables | 48,000 | 421,000 |
| Hit rate (estructura) | ~1% | >80% |
| Hit rate (composición) | ~1% | 33% |
| Error energético | — | 11 meV/átomo |
| Prototipos únicos | 8,000 | 45,500 |
Los flujos de trabajo emergentes combinan modelos generativos que proponen candidatos, simulaciones DFT para evaluación, optimización bayesiana para exploración eficiente y robótica de laboratorio para síntesis automatizada.
4.4 Agentes de investigación autónomos
Un desarrollo más reciente son los agentes de investigación: sistemas que combinan LLMs con acceso a herramientas (búsqueda bibliográfica, ejecución de código, control de instrumentos) para realizar tareas científicas con autonomía variable.
Agent Laboratory representa un marco para automatización completa del ciclo de investigación. Acepta una idea de investigación en lenguaje natural y progresa autónomamente a través de revisión bibliográfica, formulación de hipótesis, diseño e implementación de experimentos computacionales, análisis de resultados y redacción de informes. En evaluaciones preliminares, el costo promedio por paper generado fue de $2.33, con resultados que obtuvieron puntuaciones de revisores humanos comparables a trabajos de workshops de ML (Schmidgall et al., 2025).
CRISPR-GPT ilustra la especialización de agentes para dominios específicos. Este sistema automatiza el diseño de experimentos de edición genética, desde la selección del sistema CRISPR apropiado hasta la predicción de efectos fuera de diana, generación de secuencias guía y planificación de protocolos de validación. Integra múltiples herramientas computacionales especializadas en un flujo de trabajo conversacional (Qu et al., 2025).
Código
workflow <- tibble(
Etapa = c("Revisión bibliográfica", "Generación de hipótesis",
"Diseño experimental", "Ejecución de experimentos",
"Análisis de datos", "Redacción de resultados"),
`Automatización actual` = c("Alta", "Media", "Media-Alta",
"Baja-Media", "Alta", "Media"),
`Sistemas representativos` = c(
"Semantic Scholar, Elicit, OpenScholar",
"LLMs con RAG científico, Claude",
"AutoML, Bayesian optimization, CRISPR-GPT",
"Laboratorios robóticos, Emerald Cloud Lab",
"SciPy, statsmodels, LLMs para interpretación",
"GPT-4, Claude, Agent Laboratory"
),
`Limitaciones principales` = c(
"Sesgos de cobertura, literatura gris",
"Novedad limitada, alucinaciones",
"Dominio específico, validación requerida",
"Costo elevado, integración compleja",
"Verificación estadística, causalidad",
"Precisión, estilo científico, alucinaciones"
)
)
tabla_bonita(workflow)| Etapa | Automatización actual | Sistemas representativos | Limitaciones principales |
|---|---|---|---|
| Revisión bibliográfica | Alta | Semantic Scholar, Elicit, OpenScholar | Sesgos de cobertura, literatura gris |
| Generación de hipótesis | Media | LLMs con RAG científico, Claude | Novedad limitada, alucinaciones |
| Diseño experimental | Media-Alta | AutoML, Bayesian optimization, CRISPR-GPT | Dominio específico, validación requerida |
| Ejecución de experimentos | Baja-Media | Laboratorios robóticos, Emerald Cloud Lab | Costo elevado, integración compleja |
| Análisis de datos | Alta | SciPy, statsmodels, LLMs para interpretación | Verificación estadística, causalidad |
| Redacción de resultados | Media | GPT-4, Claude, Agent Laboratory | Precisión, estilo científico, alucinaciones |
4.5 Riesgos y consideraciones críticas
El entusiasmo por la IA científica debe templarse con cautelas fundamentales:
Alucinaciones y fabricación: Los LLMs pueden generar referencias bibliográficas inexistentes, datos experimentales plausibles pero inventados, o razonamientos que parecen válidos pero contienen errores sutiles. En ciencia, donde la verificabilidad es crucial, estos riesgos son especialmente graves.
Sesgo de confirmación amplificado: Si los agentes de investigación optimizan para encontrar evidencia favorable a hipótesis predeterminadas, pueden reforzar sesgos existentes en la literatura y dificultar la falsación de teorías establecidas.
Desintermediación prematura: La tentación de automatizar etapas que requieren juicio experto puede degradar la calidad de la ciencia incluso cuando aumenta su cantidad. La intuición científica, el reconocimiento de anomalías inesperadas y la creatividad teórica no son fácilmente automatizables.
Reproducibilidad: Los modelos de IA son sistemas probabilísticos cuyas respuestas pueden variar entre ejecuciones. Garantizar la reproducibilidad de resultados científicos asistidos por IA plantea desafíos metodológicos que requieren documentación exhaustiva de versiones de modelos, prompts y semillas aleatorias.
Ningún resultado científico debería aceptarse únicamente porque un modelo de IA lo sugiere. La verificación experimental, la revisión por pares y el escepticismo metodológico siguen siendo irrenunciables. La IA amplifica capacidades humanas pero no sustituye el juicio científico.
📚 Referencias del capítulo
- Jumper et al. (2021) — AlphaFold 2 y predicción de estructuras proteicas
- Desai et al. (2024) — AlphaFold 3 y complejos biomoleculares
- Merchant et al. (2023) — GNoME y descubrimiento de materiales a escala
- Schmidgall et al. (2025) — Agent Laboratory
- Qu et al. (2025) — CRISPR-GPT para edición genética
5 IA en medicina y salud
5.1 El contexto de la transformación digital sanitaria
La medicina ha sido históricamente receptiva a las tecnologías de automatización y apoyo a la decisión, desde los primeros sistemas expertos (MYCIN en los años 70) hasta el aprendizaje automático para diagnóstico por imagen. Sin embargo, la IA generativa introduce capacidades cualitativamente distintas: modelos que pueden mantener diálogos clínicos, sintetizar literatura médica, generar notas de consulta y proporcionar explicaciones personalizadas a pacientes.
El potencial transformador es considerable. El personal médico dedica aproximadamente el 40% de su tiempo a tareas administrativas y documentación. Los LLMs prometen automatizar parte significativa de esta carga, liberando tiempo para el cuidado directo del paciente (Thirunavukarasu et al., 2023).
5.2 Capacidades demostradas
5.2.1 Rendimiento en exámenes médicos
Los LLMs han demostrado capacidad para aprobar exámenes médicos estandarizados con puntuaciones competitivas. GPT-4 alcanza >90% de precisión en preguntas del USMLE (United States Medical Licensing Examination), superando el umbral de aprobación y el rendimiento medio de candidatos humanos (Lee et al., 2023).
Med-PaLM 2 de Google, específicamente ajustado para el dominio médico, logró 86.5% en MultiMedQA, un benchmark que combina múltiples conjuntos de preguntas médicas. En evaluaciones por clínicos, las respuestas de Med-PaLM 2 fueron calificadas como comparables a las de profesionales de la medicina en aspectos como precisión, utilidad y ausencia de daño potencial (Singhal et al., 2023).
Código
# Datos de benchmarks médicos
med_bench <- tibble(
modelo = c("OPT", "BLOOM", "Galactica 120B", "Gopher",
"Chinchilla", "Flan-PaLM", "Med-PaLM"),
clinical_knowledge = c(21.9, 29.8, 59.2, 67.2, 75.1, 80.4, 83.8),
professional_medicine = c(27.9, 25.4, 59.6, 64.0, 75.4, 75.4, 83.8),
tipo = c(rep("General", 5), rep("Especializado", 2))
)
med_bench_long <- med_bench %>%
pivot_longer(cols = c(clinical_knowledge, professional_medicine),
names_to = "benchmark", values_to = "accuracy") %>%
mutate(benchmark = case_when(
benchmark == "clinical_knowledge" ~ "Clinical Knowledge",
benchmark == "professional_medicine" ~ "Professional Medicine"
))
ggplot(med_bench_long, aes(x = reorder(modelo, accuracy), y = accuracy, fill = tipo)) +
geom_col(width = 0.7) +
facet_wrap(~benchmark) +
coord_flip() +
scale_fill_manual(values = c("General" = "#95a5a6", "Especializado" = "#e74c3c")) +
geom_hline(yintercept = 60, linetype = "dashed", color = "darkgreen") +
labs(
title = "Rendimiento de LLMs en MMLU clínico",
subtitle = "Línea punteada: umbral de aprobación típico",
x = NULL,
y = "Precisión (%)",
fill = "Tipo de modelo"
) +
theme_minimal(base_size = 11) +
theme(
plot.title = element_text(face = "bold"),
legend.position = "bottom"
)Sin embargo, pasar un examen y ejercer la medicina clínica son tareas fundamentalmente distintas. Los exámenes presentan problemas bien definidos con respuestas únicas; la práctica clínica implica incertidumbre, información incompleta, comunicación con pacientes y toma de decisiones bajo presión.
5.2.2 Síntesis de documentación clínica
Una aplicación con tracción inmediata es la generación automatizada de documentación clínica: resúmenes de notas, informes de alta, cartas a pacientes y requisitos de autorización previa. GPT-4 puede generar notas clínicas estructuradas a partir de transcripciones de consultas, incluyendo anamnesis, hallazgos físicos, diagnóstico diferencial y plan de tratamiento (Lee et al., 2023).
El potencial para reducir carga administrativa es considerable. Diversas iniciativas para lograr integraciones fiables con sistemas de historia clínica electrónica (Epic, Microsoft) están ya en fase piloto de despliegue.
5.3 Riesgos críticos documentados
5.3.1 Alucinaciones en contexto clínico
Las alucinaciones —generación de información plausible pero falsa— son especialmente peligrosas en medicina. Un estudio reciente de Omar et al. (2025) evaluó la susceptibilidad de múltiples LLMs a ataques adversarios mediante vignettes clínicas que incluían un dato fabricado. Los resultados son preocupantes: los modelos repiten o elaboran datos fabricados en el 50-83% de los casos bajo condiciones por defecto (Omar et al., 2025).
Código
# Datos de Omar et al. 2025
halluc_data <- tibble(
modelo = c("GPT-4o", "Claude 3.5 Sonnet", "Gemini 1.5 Pro",
"LLaMA 3.1 405B", "Distilled DeepSeek R1"),
tasa_default = c(50.3, 61.3, 68.0, 75.0, 82.7),
tasa_mitigation = c(26.5, 36.2, 42.3, 48.7, 58.3)
)
halluc_long <- halluc_data %>%
pivot_longer(cols = starts_with("tasa"),
names_to = "condicion", values_to = "tasa") %>%
mutate(condicion = ifelse(condicion == "tasa_default",
"Sin mitigación", "Con prompt de mitigación"))
ggplot(halluc_long, aes(x = reorder(modelo, tasa), y = tasa, fill = condicion)) +
geom_col(position = "dodge", width = 0.7) +
coord_flip() +
scale_fill_manual(values = c("Sin mitigación" = "#e74c3c",
"Con prompt de mitigación" = "#3498db")) +
labs(
title = "Susceptibilidad a alucinaciones adversarias en LLMs médicos",
subtitle = "% de casos donde el modelo repite/elabora información falsa introducida",
x = NULL,
y = "Tasa de alucinación (%)",
fill = NULL
) +
theme_minimal(base_size = 11) +
theme(
plot.title = element_text(face = "bold"),
legend.position = "bottom"
)Incluso GPT-4o, el modelo con mejor rendimiento, muestra susceptibilidad del 50%. Las estrategias de mitigación mediante prompt engineering reducen las tasas pero no las eliminan (26-58% post-mitigación). Notablemente, el sesgo de confirmación contribuye: los modelos tienden a “sobre-acordar” con información presentada en el prompt (Omar et al., 2025).
5.3.2 Perpetuación de medicina basada en raza
Un estudio de Omiye et al. (2023) demostró que todos los LLMs comerciales evaluados (GPT-3.5, GPT-4, Bard, Claude) presentan instancias de perpetuación de medicina basada en raza —prácticas clínicas refutadas científicamente que asumen diferencias biológicas entre razas (Omiye et al., 2023).
Código
race_med <- tibble(
Pregunta = c("Cálculo de eGFR", "Capacidad pulmonar",
"Grosor de piel", "Umbral de dolor"),
`Comportamiento problemático` = c(
"Uso de fórmulas ajustadas por raza (científicamente refutadas)",
"Afirmaciones de valores 10-15% menores para personas negras",
"Información errónea sobre diferencias raciales inexistentes",
"Afirmaciones sobre diferencias biológicas en sensibilidad al dolor"
)
)
tabla_bonita(race_med)| Pregunta | Comportamiento problemático |
|---|---|
| Cálculo de eGFR | Uso de fórmulas ajustadas por raza (científicamente refutadas) |
| Capacidad pulmonar | Afirmaciones de valores 10-15% menores para personas negras |
| Grosor de piel | Información errónea sobre diferencias raciales inexistentes |
| Umbral de dolor | Afirmaciones sobre diferencias biológicas en sensibilidad al dolor |
Los modelos proporcionan respuestas inconsistentes: a veces dan información correcta, otras veces perpetúan mitos médicos. Esta estocasticidad complica la detección de sesgos mediante evaluaciones puntuales.
5.3.3 Mapa de riesgos por aplicación
Código
med_risks <- tibble(
aplicacion = c(
"Triaje de síntomas", "Educación de pacientes",
"Resumen de notas", "Apoyo al diagnóstico",
"Prescripción asistida", "Cirugía autónoma"
),
madurez = c(0.7, 0.65, 0.6, 0.5, 0.3, 0.1),
gravedad_error = c(0.4, 0.3, 0.6, 0.8, 0.9, 1.0),
categoria = c("Información", "Información", "Documentación",
"Diagnóstico", "Tratamiento", "Intervención")
)
ggplot(med_risks, aes(x = madurez, y = gravedad_error,
color = categoria)) +
geom_point(size = 5, alpha = 0.8) +
geom_text(aes(label = aplicacion), vjust = -1.2, size = 3,
show.legend = FALSE) +
scale_color_viridis_d(option = "turbo", name = "Categoría") +
scale_x_continuous(limits = c(0, 1), labels = scales::percent,
name = "Madurez tecnológica") +
scale_y_continuous(limits = c(0, 1.1), labels = scales::percent,
name = "Gravedad potencial de errores") +
labs(
title = "Mapa de riesgo en aplicaciones médicas de IA",
subtitle = "Las aplicaciones de alto riesgo requieren mayor madurez antes del despliegue"
) +
theme_minimal(base_size = 12) +
theme(
plot.title = element_text(face = "bold"),
legend.position = "bottom"
) +
annotate("rect", xmin = 0, xmax = 0.45, ymin = 0.7, ymax = 1.1,
alpha = 0.1, fill = "red") +
annotate("text", x = 0.22, y = 1.05, label = "Zona de alto riesgo",
size = 3, color = "red", fontface = "bold")5.4 Marco regulatorio emergente
La FDA ha aprobado más de 500 dispositivos médicos basados en IA/ML, aunque la mayoría son sistemas de diagnóstico por imagen con arquitecturas supervisadas tradicionales. Los LLMs generativos plantean desafíos regulatorios distintos por su naturaleza probabilística y la dificultad de validar exhaustivamente sus outputs.
El AI Act europeo clasifica los sistemas de IA médica como alto riesgo (Anexo III), imponiendo requisitos de documentación técnica, evaluación de conformidad, supervisión humana y trazabilidad que los desarrolladores de aplicaciones médicas basadas en LLMs deberán cumplir antes de agosto de 2026 (Novelli et al., 2025).
La IA médica debe entenderse como herramienta de apoyo a la decisión clínica, no como sustituto del juicio profesional. La responsabilidad final permanece ligada a cada profesional sanitario, y se debe verificar, contextualizar y validar cualquier sugerencia algorítmica.
📚 Referencias del capítulo
6 IA en la educación: Oportunidades, desafíos y controversias
6.1 Un campo en transformación acelerada
La irrupción de ChatGPT en noviembre de 2022 encontró a las instituciones educativas desprevenidas. En cuestión de semanas, estudiantes de todo el mundo descubrieron que podían generar ensayos, resolver problemas matemáticos y producir código informático con un asistente conversacional gratuito. La reacción inicial fue de pánico en muchos casos: prohibiciones, detectores de IA y amenazas disciplinarias.
Dos años después, el panorama resulta más complejo Algunas instituciones han integrado la IA como herramienta pedagógica; otras mantienen restricciones estrictas; la mayoría opera en una ambigüedad incómoda. Lo que está claro es que ignorar la tecnología no es una opción viable, cuando los estudiantes ya la usan masivamente.
6.2 La crisis de la integridad académica
Lo razonable es asumir que el uso de IA generativa para completar tareas académicas constituye un fenómeno generalizado. Y existe evidencia al respecto: los estudios documentan prevalencias que oscilan entre el 60% y 78% de estudiantes que admiten haber usado ChatGPT o herramientas similares para trabajos evaluables (Cotton et al., 2024; Kofinas et al., 2025).
Código
integrity_data <- tibble(
año = rep(c(2022, 2023, 2024, 2025), 3),
indicador = rep(c("Uso de IA para tareas (estudiantes)",
"Uso de detectores (instituciones)",
"Políticas institucionales sobre IA"), each = 4),
porcentaje = c(
15, 45, 68, 78,
10, 38, 58, 72,
5, 25, 55, 75
)
)
ggplot(integrity_data, aes(x = año, y = porcentaje, color = indicador)) +
geom_line(linewidth = 1.2) +
geom_point(size = 3) +
scale_color_viridis_d(option = "plasma", name = NULL) +
scale_y_continuous(limits = c(0, 100), labels = function(x) paste0(x, "%")) +
labs(
title = "Indicadores de integridad académica y adopción de IA",
subtitle = "Porcentaje según encuestas y estudios (2022-2025)",
x = NULL,
y = "Porcentaje"
) +
theme_minimal(base_size = 12) +
theme(
plot.title = element_text(face = "bold"),
legend.position = "bottom"
) +
guides(color = guide_legend(nrow = 2))El problema se agrava porque el colectivo de estudiantes evita mayoritariamente declarar el uso de IA cuando las políticas institucionales lo requerirían. Kofinas et al. (2025) encontraron que el 74% de estudiantes que usaron IA generativa para evaluaciones auténticas no lo revelaron. Esta brecha entre uso real y declaración plantea desafíos fundamentales para la evaluación tradicional (Kofinas et al., 2025).
6.3 Mecanismos del problema
Cotton et al. (2024) identifican los mecanismos mediante los cuales ChatGPT desafía la integridad académica:
- Generación de contenido indistinguible: El texto producido por LLMs avanzados es frecuentemente indistinguible del escrito por humanos, incluso para evaluadores expertos.
- Bajo costo cognitivo: A diferencia del plagio tradicional, usar ChatGPT requiere mínimo esfuerzo de búsqueda, síntesis o reformulación.
- Percepción de bajo riesgo: Los estudiantes perciben (a menudo correctamente) que la detección es improbable.
- Normalización social: La prevalencia del uso reduce el estigma asociado.
El fenómeno trasciende el ensayo académico. Los LLMs pueden resolver problemas matemáticos mostrando trabajo meticuloso paso a paso, generar código funcional con comentarios, producir análisis de datos con interpretaciones y simular reflexiones personales (Cotton et al., 2024).
6.4 Limitaciones de los detectores de IA
Los detectores de contenido generado por IA (GPTZero, Turnitin AI Detection, Originality.ai) presentan limitaciones documentadas que cuestionan su uso como árbitros de integridad:
Falsos positivos preocupantes: Los detectores pueden marcar como generado por IA texto escrito por humanos, especialmente de hablantes no nativos de inglés o estudiantes con estilos de escritura atípicos (Kofinas et al., 2025). Incluso párrafos enteros de trabajos redactados décadas antes de entrar en servicio los modelos avanzados de IA generativa pueden resultar categorizados como sintéticos (Liang et al., 2023).
Falsos negativos sistemáticos: El parafraseo manual, la edición sustantiva o el uso de herramientas de “humanización” pueden evadir la detección con alta eficacia. Un estudio de Zhu et al. (2025) concluyó que el 82.8% de textos generados por Claude fueron clasificados como escritos por humanos por GPTzero (Zhu et al., 2025).
Carrera armamentística: A medida que los detectores mejoran, también lo hacen las técnicas de evasión, en un ciclo que beneficia a quienes tienen mayores recursos técnicos.
Código
detector_data <- tibble(
estudio = c("Weber-Wulff 2023", "Zhu 2025", "Liang 2024"),
falsos_positivos = c(8, 12, 5),
falsos_negativos = c(35, 82.8, 45)
)
detector_long <- detector_data %>%
pivot_longer(cols = starts_with("falsos"),
names_to = "error", values_to = "tasa") %>%
mutate(error = ifelse(error == "falsos_positivos",
"Falsos positivos", "Falsos negativos"))
ggplot(detector_long, aes(x = estudio, y = tasa, fill = error)) +
geom_col(position = "dodge", width = 0.7) +
scale_fill_manual(values = c("Falsos positivos" = "#f39c12",
"Falsos negativos" = "#e74c3c")) +
labs(
title = "Tasas de error en detectores de IA",
subtitle = "Los falsos negativos (texto IA clasificado como humano) son especialmente problemáticos",
x = NULL,
y = "Tasa de error (%)",
fill = NULL
) +
theme_minimal(base_size = 11) +
theme(
plot.title = element_text(face = "bold"),
legend.position = "bottom"
)6.5 Impacto en la investigación académica
El problema trasciende las aulas. Liang y colaboradores analizaron el uso de LLMs en revisiones por pares de conferencias de IA (ICLR, NeurIPS, CoRL) y concluyeron que entre el 6.5% y 16.9% del texto en informes de revisión posteriores a ChatGPT muestra evidencia de generación o modificación sustancial por LLMs. Las revisiones con mayor probabilidad de uso de IA se caracterizan por menor confianza del revisor, envío cercano al límite del plazo establecido y menor probabilidad de responder a las alegaciones (rebuttals) de autores (Liang et al., 2024).
6.6 Estrategias de respuesta institucional
Las instituciones educativas están desarrollando respuestas que van más allá de la prohibición y detección. Entre otras:
Rediseño de evaluaciones: Privilegiar tareas difíciles de automatizar como presentaciones orales con preguntas improvisadas, proyectos iterativos con entregas incrementales, reflexiones que requieren experiencias personales verificables, y evaluaciones in situ supervisadas (Kóvári, 2025).
Evaluaciones auténticas: Diseñar actividades que requieren aplicación contextualizada de conocimiento a problemas reales, donde el proceso es tan importante como el producto.
Alfabetización en IA: Incorporar la IA como objeto de estudio, enseñando a estudiantes a evaluar críticamente sus outputs, detectar limitaciones y sesgos, y usar estas herramientas de forma ética y productiva.
Código
strategies <- tibble(
Estrategia = c("Exámenes orales", "Proyectos iterativos",
"Reflexiones personales", "Uso declarado de IA",
"Evaluación de proceso", "Detección algorítmica"),
Eficacia = c("Alta", "Alta", "Media-Alta", "Media", "Alta", "Baja"),
`Costo implementación` = c("Alto", "Medio", "Bajo", "Bajo", "Medio", "Bajo"),
Limitaciones = c(
"Escalabilidad en grupos grandes",
"Requiere seguimiento continuo",
"Verificación difícil",
"Depende de honestidad",
"Requiere rúbricas detalladas",
"Altas tasas de error, carrera armamentística"
)
)
tabla_bonita(strategies)| Estrategia | Eficacia | Costo implementación | Limitaciones |
|---|---|---|---|
| Exámenes orales | Alta | Alto | Escalabilidad en grupos grandes |
| Proyectos iterativos | Alta | Medio | Requiere seguimiento continuo |
| Reflexiones personales | Media-Alta | Bajo | Verificación difícil |
| Uso declarado de IA | Media | Bajo | Depende de honestidad |
| Evaluación de proceso | Alta | Medio | Requiere rúbricas detalladas |
| Detección algorítmica | Baja | Bajo | Altas tasas de error, carrera armamentística |
Sin embargo, de estas limitaciones prácticas derivan ciertas oportunidades que merecen atención. La prohibición total de herramientas de IAGen en contextos académicos es una “imposibilidad práctica” que no resuelve los problemas subyacentes (Bin-Nashwan et al., 2023). La ubicuidad de estas tecnologías, su integración creciente en entornos profesionales y el hecho de que dominar su uso se está convirtiendo en una competencia laboral crítica (Kofinas et al., 2025) sugieren que la estrategia acertada sería enseñar su uso responsable, en lugar de perseguir su erradicación.
Además, hay razones de peso y evidencia para admitir que la IA generativa puede democratizar capacidades: algunos estudios muestran que puede beneficiar notablemente a trabajadores con menos experiencia, comprimiendo la distribución de productividad y reduciendo brechas de rendimiento (Brynjolfsson et al., 2023).
La pregunta no es si los estudiantes usarán IA —ya lo hacen masivamente—, sino cómo formar profesionales que sepan aprovecharla sin perder las competencias cognitivas que la educación debería desarrollar: pensamiento crítico, argumentación, síntesis y creatividad genuina.
📚 Referencias del capítulo
- Cotton et al. (2024) — ChatGPT e integridad académica
- Kóvári (2025) — Prácticas éticas para combatir el plagio con IA
- Kofinas et al. (2025) — Impacto de la IA generativa en evaluaciones auténticas
- Liang et al. (2024) — Impacto de ChatGPT en revisiones por pares
- Zhu et al. (2025) — Riesgos de LLMs en peer review
7 Programación asistida por IA
7.1 La transformación del desarrollo de software
La programación ha sido uno de los dominios donde la IA generativa ha mostrado impacto más inmediato y mensurable. Desde el lanzamiento de GitHub Copilot en junio de 2021, los asistentes de código se han convertido en herramienta cotidiana para millones de desarrolladores.
La adopción ha sido extraordinariamente rápida: según encuestas de Stack Overflow, el 63% de desarrolladores profesionales utilizan IA en su proceso de desarrollo, con otro 14% planeando hacerlo próximamente. Esta velocidad de adopción supera a casi cualquier otra herramienta de desarrollo en la historia reciente (Stack Overflow, 2024).
7.2 Evidencia experimental sobre productividad
El estudio controlado más riguroso sobre productividad con asistentes de código fue llevado a cabo por Peng y colaboradores en 2023. En un experimento con desarrolladores profesionales orientado a implementar un servidor HTTP en JavaScript, el resultado fue:
- Grupo tratamiento (con Copilot): tiempo medio de 71.17 minutos
- Grupo control (sin Copilot): tiempo medio de 160.89 minutos
- Reducción: 55.8% (IC 95%: 21-89%, p=0.0017)
Código
# Datos del experimento
copilot_data <- tibble(
grupo = c("Con Copilot", "Sin Copilot"),
tiempo_medio = c(71.17, 160.89),
ci_lower = c(55, 120),
ci_upper = c(90, 210)
)
ggplot(copilot_data, aes(x = grupo, y = tiempo_medio, fill = grupo)) +
geom_col(width = 0.6) +
geom_errorbar(aes(ymin = ci_lower, ymax = ci_upper), width = 0.2) +
geom_text(aes(label = paste0(round(tiempo_medio, 1), " min")),
vjust = -0.5, fontface = "bold") +
scale_fill_manual(values = c("Con Copilot" = "#3498db", "Sin Copilot" = "#95a5a6")) +
labs(
title = "Tiempo de completado de tarea de programación",
subtitle = "Experimento controlado (Peng et al., 2023)",
x = NULL,
y = "Tiempo (minutos)",
caption = "Barras de error: intervalos de confianza 95%"
) +
theme_minimal(base_size = 12) +
theme(
plot.title = element_text(face = "bold"),
legend.position = "none"
) +
ylim(0, 230) +
annotate("segment", x = 1, xend = 2, y = 200, yend = 200,
arrow = arrow(ends = "both", length = unit(0.1, "inches"))) +
annotate("text", x = 1.5, y = 215, label = "55.8% más rápido",
fontface = "bold", color = "#27ae60")Pese a los efectos heterogéneos, estos trabajaron refuerzan la tesis de que son los desarrolladores con menos experiencia, los programadores mayores y quienes programan más horas diarias los grupos que obtuvieron mayores beneficios. En consecuencia, cabe asumir un potencial significativo para democratizar el acceso a carreras en desarrollo de software (Peng et al., 2023).
Los participantes subestimaron el impacto real en su productividad: calcularon mejoras del 35% cuando el incremento observado fue del 55,8%. La disposición a pagar por un mejor soporte y una mayor disponibilidad de las herramientas de programación asistida fue significativamente mayor en el grupo tratamiento —donde se aplicó la intervención— que en el grupo control ($27,25/mes frente a $16,91/mes), lo que constituye una evidencia indirecta del valor percibido.
7.3 Ecosistema de herramientas (2025)
Código
code_tools <- tibble(
Herramienta = c("GitHub Copilot", "Claude Code", "Cursor",
"Codeium", "Tabnine", "Amazon CodeWhisperer"),
Desarrollador = c("GitHub/Microsoft", "Anthropic", "Cursor Inc.",
"Codeium", "Tabnine", "Amazon"),
`Modelo base` = c("GPT-4/Codex", "Claude 3.5/4", "Claude/GPT-4",
"Propietario", "Propietario", "Propietario"),
Arquitectura = c("Completions + Chat", "Agéntico (CLI/IDE)", "Agéntico (IDE)",
"Completions", "Completions", "Completions"),
`Precio mensual` = c("$10-19", "Por uso API", "$20",
"Freemium/$10", "Freemium/$12", "Gratuito/Pro")
)
tabla_bonita(code_tools)| Herramienta | Desarrollador | Modelo base | Arquitectura | Precio mensual |
|---|---|---|---|---|
| GitHub Copilot | GitHub/Microsoft | GPT-4/Codex | Completions + Chat | $10-19 |
| Claude Code | Anthropic | Claude 3.5/4 | Agéntico (CLI/IDE) | Por uso API |
| Cursor | Cursor Inc. | Claude/GPT-4 | Agéntico (IDE) | $20 |
| Codeium | Codeium | Propietario | Completions | Freemium/$10 |
| Tabnine | Tabnine | Propietario | Completions | Freemium/$12 |
| Amazon CodeWhisperer | Amazon | Propietario | Completions | Gratuito/Pro |
7.4 La emergencia de agentes de código
Un desarrollo significativo de 2024-2025 es la transición de completions (sugerencias línea por línea) a agentes de código: sistemas que pueden planificar, ejecutar y depurar proyectos completos con autonomía variable. Cursor, Claude Code y otros representan este paradigma agéntico.
He et al. (2025) realizaron el primer estudio a gran escala del impacto de agentes de código (específicamente Cursor) en proyectos reales de GitHub mediante diseño de diferencias en diferencias. Los resultados revelan un patrón complejo:
Ganancias de velocidad transitorias: La adopción de Cursor produce aumentos significativos en velocidad de desarrollo, pero estos beneficios se disipan aproximadamente dos meses después de la adopción.
Acumulación de deuda técnica: Los proyectos que adoptan Cursor muestran incrementos persistentes en complejidad de código (+25%), warnings de análisis estático, y code smells (He et al., 2025).
Código
# Datos basados en He et al. 2025
cursor_data <- tibble(
semana = rep(0:12, 2),
metrica = rep(c("Velocidad de desarrollo", "Deuda técnica"), each = 13),
valor = c(
# Velocidad: pico inicial, luego decae
0, 35, 45, 40, 32, 25, 18, 12, 8, 5, 3, 2, 0,
# Deuda técnica: crece y se estabiliza alto
0, 8, 15, 22, 28, 33, 37, 40, 42, 43, 44, 44, 45
)
)
ggplot(cursor_data, aes(x = semana, y = valor, color = metrica)) +
geom_line(linewidth = 1.2) +
geom_point(size = 2) +
geom_vline(xintercept = 0, linetype = "dashed", color = "gray50") +
annotate("text", x = 0.5, y = 50, label = "Adopción", hjust = 0, size = 3) +
scale_color_manual(values = c("Velocidad de desarrollo" = "#27ae60",
"Deuda técnica" = "#e74c3c")) +
labs(
title = "Dinámica temporal post-adopción de asistentes agénticos",
subtitle = "Efectos transitorios en velocidad y persistentes en deuda técnica (He et al., 2025)",
x = "Semanas desde adopción",
y = "Cambio relativo (%)",
color = NULL
) +
theme_minimal(base_size = 12) +
theme(
plot.title = element_text(face = "bold"),
legend.position = "bottom"
)7.5 Calidad del código generado
Yetistiren y colaboradores evaluaron sistemáticamente la calidad del código generado en 2023 por GitHub Copilot, Amazon CodeWhisperer y ChatGPT en el benchmark HumanEval:
Código
code_quality <- tibble(
Métrica = c("Validez sintáctica", "Corrección funcional",
"Bugs detectados", "Code smells (promedio)",
"Deuda técnica (min/smell)"),
Copilot = c("91.5%", "~65%", "3", "1.2/problema", "9.1"),
CodeWhisperer = c("95.1%", "~68%", "1", "0.9/problema", "5.6"),
ChatGPT = c("93.3%", "~70%", "2", "1.0/problema", "8.9")
)
tabla_bonita(code_quality)| Métrica | Copilot | CodeWhisperer | ChatGPT |
|---|---|---|---|
| Validez sintáctica | 91.5% | 95.1% | 93.3% |
| Corrección funcional | ~65% | ~68% | ~70% |
| Bugs detectados | 3 | 1 | 2 |
| Code smells (promedio) | 1.2/problema | 0.9/problema | 1.0/problema |
| Deuda técnica (min/smell) | 9.1 | 5.6 | 8.9 |
Los indicios de mal diseño (code smells) más frecuentes incluyen: nomenclatura inapropiada de funciones y variables, alta complejidad cognitiva, y uso de patrones obsoletos. Curiosamente, los bugs encontrados fueron únicos para cada generador, sugiriendo que no existe superioridad absoluta en generación de código libre de errores (Yetiştiren et al., 2023).
7.6 Implicaciones de seguridad
El código generado por IA puede contener vulnerabilidades heredadas de patrones inseguros en los datos de entrenamiento. Algunos estudios muestran que los asistentes pueden sugerir código vulnerable a inyección SQL, cross-site scripting (XSS), path traversal, deserialización insegura y uso de funciones criptográficas débiles.
La velocidad de generación puede crear una falsa sensación de seguridad: el código que “funciona” no es necesariamente código seguro, y la revisión humana rigurosa sigue siendo esencial.
7.7 Recomendaciones para equipos de desarrollo
Los hallazgos sugieren varias prácticas para equipos que adoptan asistentes de código IA:
- Escalar QA con velocidad: Si la productividad aumenta, los procesos de revisión y testing deben expandirse proporcionalmente.
- Sprints de refactorización: Programar regularmente ciclos de limpieza de deuda técnica acumulada.
- Cobertura de tests obligatoria: Establecer umbrales mínimos de testing que escalen con líneas de código añadidas.
- Revisión de código rigurosa: Tratar el código generado por IA con el mismo (o mayor) escrutinio que el código humano.
- Prompts de calidad: Configurar reglas explícitas de calidad en los prompts del agente.
Los asistentes de código IA son más efectivos como aceleradores de desarrolladores experimentados que como sustitutos de expertise. El valor óptimo se obtiene cuando el desarrollador puede evaluar críticamente las sugerencias, identificar errores sutiles y mantener responsabilidad sobre la calidad final del código.
Los capítulos que siguen examinan riesgos específicos de la IA generativa: alucinaciones y sesgos, ciberseguridad y desinformación, sistemas autónomos letales, impactos laborales y marcos regulatorios. Esta organización por dominios responde a la estructura del debate público y académico, pero conviene señalar que los riesgos no son compartimentos estancos sino dimensiones interconectadas de sistemas sociotécnicos complejos.
El mapeo sistemático más exhaustivo de estos riesgos ha sido emprendido por Thilo Hagendorff (Hagendorff, 2024), cuyo scoping review identifica 378 problemas normativos distintos asociados a la IA generativa, agrupados en categorías de fiabilidad técnica, sesgos y discriminación, privacidad, seguridad, impactos socioeconómicos y gobernanza. Esta taxonomía comprehensiva revela varias lecciones transversales: los riesgos emergen de la interacción entre propiedades técnicas y contextos de uso; muchos problemas son sistémicos más que excepciones aisladas; y las categorías de riesgo se solapan e interactúan de maneras que complican las respuestas regulatorias sectoriales. El lector encontrará ecos de estas interconexiones a lo largo de los capítulos siguientes.
📚 Referencias del capítulo
PARTE III: RIESGOS Y DESAFÍOS
8 Alucinaciones, sesgos y fiabilidad
8.1 El problema fundamental de la veracidad
Los grandes modelos de lenguaje no “saben” en el sentido epistemológico tradicional. No verifican hechos contra una base de conocimiento validado ni comprenden la distinción entre afirmaciones verdaderas y falsas. Generan texto estadísticamente plausible dado su entrenamiento, lo que incluye contenido correcto, incorrecto, inventado y contradictorio con igual fluidez superficial.
Esta característica, denominada “alucinación” en la jerga del campo, constituye uno de los obstáculos más serios para la adopción de LLMs en contextos donde la precisión es crítica. El término “alucinación” proviene originalmente de la generación de detalles no fundamentados, ya sea como estrategia deliberada o como problema de fiabilidad (Farquhar et al., 2024). Como señalan Farquhar y colaboradores, el uso de esta metáfora ha sido cuestionado por promover un antropomorfismo indebido; pero su adopción generalizada muestra que captura un fenómeno importante, aunque necesite mayor precisión conceptual.
El estudio de Nature de Farquhar et al. (2024) proporciona una definición operativa más precisa: las confabulaciones son respuestas en las que los LLMs “hacen afirmaciones fluidas que son incorrectas y arbitrarias”, es decir, sensibles a detalles irrelevantes como la semilla aleatoria. Esta distinción es crucial: cuando se pregunta a un modelo médico “¿Cuál es el objetivo de Sotorasib?”, puede responder KRASG12 ‘C’ (correcto) o KRASG12 ‘D’ (incorrecto) a pesar de instrucciones idénticas (Farquhar et al., 2024).
8.2 Taxonomía de alucinaciones
La literatura distingue varios tipos con taxonomías cada vez más refinadas (Huang et al., 2025; Ji et al., 2023):
Alucinaciones factuales: Afirmaciones sobre hechos del mundo que son falsas, incluyendo fechas incorrectas, atribuciones erróneas y eventos inventados. Son particularmente problemáticas porque mantienen la coherencia superficial del texto.
Alucinaciones de fidelidad: En tareas de resumen o traducción, contenido que no está presente en la fuente o la contradice. Representan un fallo en mantener la fidelidad al material original.
Confabulaciones: Elaboraciones plausibles pero inventadas, especialmente cuando el modelo carece de información suficiente. A diferencia de respuestas sistemáticamente erróneas (aprendidas de datos incorrectos) o mentiras deliberadas (en búsqueda de recompensa), las confabulaciones son arbitrarias —diferentes ejecuciones producen diferentes errores (Farquhar et al., 2024).
Fabricación de referencias: Citas bibliográficas que parecen legítimas pero corresponden a artículos, autores o revistas inexistentes. Este problema es especialmente preocupante en contextos académicos.
Código
# Datos de rendimiento de detección de alucinaciones
# Fuente: Farquhar et al. (2024), Nature, Vol. 630, Fig. 2
detection_methods <- tibble(
modelo = rep(c("LLaMA 2 Chat 7B", "LLaMA 2 Chat 13B", "LLaMA 2 Chat 70B",
"Falcon 7B Instruct", "Falcon 40B Instruct", "Mistral 7B Instruct"),
each = 4),
metodo = rep(c("Entropía semántica", "Entropía semántica discreta",
"Entropía ingenua", "P(True)"), 6),
auroc = c(
# LLaMA 7B
0.78, 0.76, 0.68, 0.65,
# LLaMA 13B
0.79, 0.77, 0.69, 0.68,
# LLaMA 70B
0.81, 0.79, 0.71, 0.72,
# Falcon 7B
0.77, 0.75, 0.67, 0.64,
# Falcon 40B
0.80, 0.78, 0.70, 0.69,
# Mistral 7B
0.79, 0.77, 0.69, 0.67
)
)
# Calcular promedios por método
detection_summary <- detection_methods %>%
group_by(metodo) %>%
summarise(
auroc_mean = mean(auroc),
auroc_sd = sd(auroc),
.groups = "drop"
) %>%
mutate(metodo = fct_reorder(metodo, auroc_mean))
ggplot(detection_summary, aes(x = metodo, y = auroc_mean, fill = metodo)) +
geom_col(width = 0.7) +
geom_errorbar(aes(ymin = auroc_mean - auroc_sd, ymax = auroc_mean + auroc_sd),
width = 0.2, color = "#2c3e50") +
geom_text(aes(label = sprintf("%.3f", auroc_mean)),
vjust = -0.5, fontface = "bold", size = 3.5) +
coord_flip() +
scale_fill_manual(values = c("#e74c3c", "#f39c12", "#3498db", "#27ae60")) +
labs(
title = "Detección de confabulaciones: AUROC por método",
subtitle = "Promedio de 6 modelos LLM en 5 datasets (TriviaQA, SQuAD, BioASQ, NQ-Open, SVAMP)",
x = NULL,
y = "AUROC (Área bajo curva ROC)",
caption = "Fuente: Farquhar et al. (2024), Nature 630:625-630"
) +
theme_minimal(base_size = 12) +
theme(
plot.title = element_text(face = "bold"),
legend.position = "none"
) +
scale_y_continuous(limits = c(0, 1), breaks = seq(0, 1, 0.2))8.3 Entropía semántica: un avance en detección
El método de entropía semántica desarrollado por Farquhar y colaboradores representa un avance significativo en la detección de confabulaciones. A diferencia de la entropía ingenua —que mide la variación en las respuestas exactas tratando “París”, “Es París” y “La capital de Francia, París” como diferentes—, la entropía semántica agrupa las respuestas por significado antes de calcular la incertidumbre (Farquhar et al., 2024).
Los resultados empíricos son robustos: promediando las 30 combinaciones de tareas y modelos estudiadas, la entropía semántica alcanza un AUROC de 0.790, mientras que la entropía ingenua (0.691), P(True) (0.698) y la regresión de embeddings (0.687) quedan significativamente por debajo (Farquhar et al., 2024). Resulta llamativo que el rendimiento de la entropía semántica se mantiene estable (entre 0.78 y 0.81 AUROC) a través de diferentes familias de modelos (LLaMA, Falcon, Mistral) y escalas (7B a 70B parámetros).
Esta robustez cross-model es particularmente relevante dado que los métodos de estimación de incertidumbre basados en estados internos del LLM —como probabilidad de tokens y entropía— constituyen uno de los dos paradigmas principales para detección de alucinaciones en configuraciones zero-resource (Huang et al., 2025). Lin et al. (2024) contextualizan estos avances dentro de una taxonomía más amplia de métodos de “dehallucination”, destacando que las aproximaciones basadas en incertidumbre evitan la dependencia de fuentes externas de verificación factual.
Código
halluc_context <- tibble(
`Contexto` = c(
"Referencias bibliográficas (GPT-4)",
"Referencias bibliográficas (GPT-3.5)",
"Resúmenes médicos (múltiples LLMs)",
"Respuestas generales (TruthfulQA)",
"Código generado (benchmarks)",
"Biografías factuales (GPT-4)"
),
`Tasa mínima (%)` = c(20, 35, 1, 25, 15, 30),
`Tasa máxima (%)` = c(35, 45, 5, 45, 30, 50),
`Fuente` = c(
"Estudios de verificación bibliográfica",
"Estudios de verificación bibliográfica",
"Asgari et al. (2025)",
"TruthfulQA benchmark",
"Múltiples benchmarks de código",
"Farquhar et al. (2024)"
)
)
tabla_bonita(halluc_context)| Contexto | Tasa mínima (%) | Tasa máxima (%) | Fuente |
|---|---|---|---|
| Referencias bibliográficas (GPT-4) | 20 | 35 | Estudios de verificación bibliográfica |
| Referencias bibliográficas (GPT-3.5) | 35 | 45 | Estudios de verificación bibliográfica |
| Resúmenes médicos (múltiples LLMs) | 1 | 5 | Asgari et al. (2025) |
| Respuestas generales (TruthfulQA) | 25 | 45 | TruthfulQA benchmark |
| Código generado (benchmarks) | 15 | 30 | Múltiples benchmarks de código |
| Biografías factuales (GPT-4) | 30 | 50 | Farquhar et al. (2024) |
8.4 Estrategias de mitigación
Se han propuesto múltiples enfoques para reducir alucinaciones, aunque ninguno las elimina completamente (Lin et al., 2024):
Retrieval-Augmented Generation (RAG): Complementar el LLM con búsqueda en bases de datos verificadas permite anclar las respuestas en fuentes externas. Sin embargo, el modelo puede ignorar la información recuperada o mezclarla incorrectamente con su conocimiento paramétrico.
Entropía semántica y detección activa: El método de Farquhar et al. permite identificar preguntas que probablemente causarán confabulaciones antes de que se produzcan, habilitando estrategias como declinar responder, advertir al usuario sobre la incertidumbre, o complementar con búsqueda adicional (Farquhar et al., 2024).
Chain-of-thought y verificación: Forzar al modelo a explicitar su razonamiento paso a paso facilita detectar errores lógicos (Dhuliawala et al., 2024). Las técnicas de auto-verificación piden al modelo que evalúe la corrección de sus propias respuestas, aunque son susceptibles a los mismos sesgos (Hong et al., 2024).
Edición de conocimiento: Modificar el comportamiento del modelo de manera eficiente sin reentrenamiento completo. Las técnicas incluyen redes auxiliares (Mitchell et al., 2022) o modificación directa de parámetros (Meng et al., 2022), aunque enfrentan desafíos con ediciones múltiples y conocimiento contextual (Lin et al., 2024).
La entropía semántica detecta confabulaciones causadas por falta de conocimiento del LLM, pero no ayuda cuando las respuestas son sistemáticamente incorrectas debido a datos de entrenamiento erróneos o fallos de razonamiento (Farquhar et al., 2024).
8.5 Sesgos sistemáticos
Más allá de las alucinaciones puntuales, los LLMs exhiben sesgos sistemáticos heredados de sus datos de entrenamiento. El estudio seminal de Brown y colaboradores en 2020 sobre GPT-3 ya identificó que “los modelos entrenados en internet tienen sesgos a escala de internet” (Brown et al., 2020).
8.5.1 Categorías de sesgo
La investigación ha identificado tres categorías principales (Lin et al., 2024):
Sesgos raciales y religiosos: Asociaciones estereotipadas entre nombres de diferentes orígenes étnicos y atributos como competencia o agrado. Estudios muestran que nombres asociados con europeo-americanos tienden a vincularse con términos positivos.
Sesgos de género y orientación: Los modelos exhiben estereotipos vinculados a roles de género, asociando por ejemplo “cocinar” con mujeres o “CEO” con hombres (Hendricks et al., 2018; Zhao et al., 2017).
Sesgos políticos y culturales: Replicación de ideologías dominantes o actitudes culturales presentes en los datos de entrenamiento, con predominio de perspectivas anglosajonas y occidentales.
8.5.2 Caso crítico: Medicina basada en raza
El estudio de Omiye et al. (2023) en npj Digital Medicine documenta cómo cuatro LLMs comerciales principales (ChatGPT-3.5, GPT-4, Bard, Claude) propagan medicina basada en raza desacreditada (Omiye et al., 2023):
Código
# Datos de Omiye et al. (2023), npj Digital Medicine
# Proporción de respuestas con contenido problemático por pregunta/modelo
race_bias_data <- tibble(
pregunta = c(
"Función renal\n(eGFR)",
"Capacidad\npulmonar",
"Grosor de\npiel",
"Umbral de\ndolor"
),
ChatGPT_35 = c(0.80, 0.60, 0.40, 0.20),
GPT_4 = c(0.60, 0.40, 0.40, 0.20),
Bard = c(0.40, 0.40, 0.60, 0.40),
Claude = c(0.20, 0.20, 0.40, 0.20)
) %>%
pivot_longer(cols = -pregunta,
names_to = "modelo",
values_to = "proporcion") %>%
mutate(modelo = str_replace_all(modelo, "_", "-"))
ggplot(race_bias_data, aes(x = pregunta, y = proporcion, fill = modelo)) +
geom_col(position = "dodge", width = 0.7) +
geom_text(aes(label = scales::percent(proporcion, accuracy = 1)),
position = position_dodge(width = 0.7),
vjust = -0.5, size = 2.8) +
scale_fill_brewer(palette = "Set2", name = "Modelo") +
scale_y_continuous(labels = scales::percent, limits = c(0, 1)) +
labs(
title = "Propagación de medicina basada en raza en LLMs comerciales",
subtitle = "Proporción de respuestas con contenido problemático (5 ejecuciones por pregunta)",
x = NULL,
y = "Respuestas problemáticas (%)",
caption = "Fuente: Omiye et al. (2023), npj Digital Medicine 6:195"
) +
theme_minimal(base_size = 11) +
theme(
plot.title = element_text(face = "bold"),
axis.text.x = element_text(size = 9),
legend.position = "bottom"
)Los hallazgos son preocupantes:
Función renal: ChatGPT-3.5 y GPT-4 promovieron en múltiples ejecuciones el uso de ajustes raciales en el cálculo de eGFR, con falsas afirmaciones sobre que pacientes negros tienen diferente masa muscular y por tanto mayores niveles de creatinina.
Capacidad pulmonar: Todos los modelos indicaron en alguna ejecución que los valores “normales” de función pulmonar son 10-15% menores en personas negras, perpetuando ecuaciones desacreditadas.
Grosor de piel: Todos los modelos compartieron información errónea sobre diferencias en grosor de piel entre razas, cuando no existen tales diferencias (Omiye et al., 2023).
Umbral de dolor: Algunos modelos afirmaron diferencias biológicas en sensibilidad al dolor, llegando Claude a mencionar diferencias en niveles de receptores GFRα3.
Los LLMs requieren más refinamiento y sofisticación para erradicar completamente sesgos como los ligados a la raza, entre otros. Y, por tanto, no están listos para un uso clínico o integración debido al daño potencial que pueden ocasionar, si su aplicación conlleva un riesgo previsible de inducir sesgos en el criterio de los profesionales médicos:
«We urge medical centers and clinicians to exercise extreme caution in the use of LLMs for medical decision-making as we have demonstrated that these models require further evaluation, increased transparency, and assessment for potential biases before they are used for medical education, medical decision-making, or patient care» (Omiye et al., 2023, p. 2).
8.6 Desafíos en corrección de sesgos
Los esfuerzos de debiasing han tenido éxito parcial. Lin y colaboradores (2024) identifican varios desafíos fundamentales (Lin et al., 2024):
Evaluación y medición: La mayoría de métricas existentes se han diseñado para tipos específicos de sesgo (principalmente de género). No es suficiente analizar un solo tipo de sesgo dado el contenido diverso generado por LLMs de propósito general.
Contexto multilingüe y multicultural: La investigación se centra principalmente en modelos en inglés. Expandir las técnicas a otros idiomas y contextos culturales representa un desafío significativo, dado que lo que constituye sesgo puede variar entre sociedades y culturas.
Concesiones inherentes: Estudios recientes sugieren que las técnicas tradicionales de desesgado pueden en realidad exacerbar sesgos en clasificadores downstream al proporcionar un canal más claro para transmitir información de género. Los modelos son sensibles a sesgos muy sutiles, difíciles de detectar y filtrar.
Cualquier despliegue de LLMs en contextos de alto riesgo debe incluir protocolos de verificación humana y mecanismos para detectar y corregir errores. La confianza ciega en las respuestas de estos sistemas es inapropiada. Como señalan Omiye y otros, “se necesitan estudios cuantitativos más amplios para asegurar la seguridad del paciente antes del despliegue generalizado” (Omiye et al., 2023).
8.6.1 Limitaciones estructurales, no contingentes
Las alucinaciones documentadas no son meramente defectos corregibles mediante más datos, mayor escala o técnicas de alineamiento más sofisticadas. Como argumenta Gary Marcus (G. F. Marcus, 2024; G. Marcus & Davis, 2019), los LLMs carecen de las capacidades requeridas para prevenir estos errores de raíz: representaciones del mundo verificables contra la realidad, mecanismos de inferencia causal, y la capacidad de “saber que no saben” —es decir, de calibrar apropiadamente su incertidumbre.
La arquitectura Transformer, por extraordinariamente exitosa que pueda ser capturando patrones estadísticos del lenguaje, opera sobre correlaciones superficiales sin acceso a estructuras semánticas profundas. Un LLM que genera una cita bibliográfica plausible pero inexistente no está “mintiendo” ni “confundiéndose”: está haciendo exactamente lo que su arquitectura le permite hacer, que es producir secuencias de tokens estadísticamente probables dado el contexto. Que esas secuencias correspondan o no a hechos del mundo es, literalmente, algo que el modelo no puede verificar porque carece de conexión con el mundo más allá de sus datos de entrenamiento.
Esta perspectiva tiene implicaciones prácticas importantes: sugiere que las alucinaciones son propiedades emergentes de la arquitectura actual, no bugs eliminables con suficiente ingeniería. Las técnicas de mitigación —RAG, verificación externa, RLHF— son parches útiles pero no soluciones fundamentales. Cualquier despliegue responsable debe asumir que las alucinaciones ocurrirán y diseñar sistemas de verificación acordes.
📚 Referencias del capítulo
- Farquhar et al. (2024) — Detección de alucinaciones mediante entropía semántica (Nature)
- Huang et al. (2025) — Taxonomía comprehensiva de alucinaciones en LLMs
- Omiye et al. (2023) — Propagación de medicina basada en raza en LLMs comerciales
- Lin et al. (2024) — Revisión de desesgado y dehalucinación en LLMs
- Brown et al. (2020) — Sesgos identificados en GPT-3
- Ji et al. (2023) — Survey de alucinación en generación de lenguaje natural
9 Ciberseguridad, deepfakes y desinformación
9.1 El nuevo paisaje de amenazas
La IA generativa ha alterado fundamentalmente el equilibrio entre atacantes y defensores en el ámbito de la ciberseguridad. Las mismas capacidades que permiten generar código, texto e imágenes de calidad también potencian ataques más sofisticados, personalizados y difíciles de detectar. El cibercrimen tiene un coste proyectado de 10.5 billones de dólares anuales para 2025, y el 90% de las empresas carecen actualmente de la madurez para contrarrestar amenazas habilitadas por IA avanzada (Khalil, 2025).
La dinámica fundamental ha cambiado: la IA no solo hace los ataques más efectivos, sino dramáticamente más baratos y escalables. Un atacante puede usar IA para elaborar un correo de phishing dirigido y persuasivo en 5 minutos —una tarea que requeriría 16 horas a un experto humano en ingeniería social—, representando una reducción del 95% en costes para los atacantes (Khalil, 2025).
9.2 Vectores de ataque potenciados por IA
9.2.2 Deepfakes y suplantación de identidad
Los deepfakes —audio y vídeo hiperrealistas generados por IA— han pasado de ser una novedad a un arma potente para fraude e ingeniería social.
El caso Arup (2024): El incidente más notorio involucró a la firma multinacional de ingeniería Arup. Un empleado del departamento financiero en Hong Kong fue convencido de realizar transferencias por 25,6 millones de dólares tras una videollamada con lo que parecía ser el CFO de la empresa y varios colegas —todos eran deepfakes generados en tiempo real (Khalil, 2025).
Código
deepfake_cases <- tibble(
`Caso` = c("Arup (Hong Kong)", "WPP (Reino Unido)", "Ferrari (Italia)",
"Senador Ben Cardin (EE.UU.)"),
`Técnica` = c("Videollamada grupal deepfake", "Clonación de voz CEO",
"WhatsApp con voz clonada", "Videollamada suplantando funcionario ucraniano"),
`Resultado` = c("Pérdida de $25.6M", "Detectado y evitado",
"Detectado y evitado", "Detectado"),
`Factor clave` = c("Múltiples 'personas' en llamada",
"Ejecutivo sospechó inconsistencias",
"Pregunta personal de verificación",
"Inconsistencias en comportamiento")
)
tabla_bonita(deepfake_cases)| Caso | Técnica | Resultado | Factor clave |
|---|---|---|---|
| Arup (Hong Kong) | Videollamada grupal deepfake | Pérdida de $25.6M | Múltiples 'personas' en llamada |
| WPP (Reino Unido) | Clonación de voz CEO | Detectado y evitado | Ejecutivo sospechó inconsistencias |
| Ferrari (Italia) | WhatsApp con voz clonada | Detectado y evitado | Pregunta personal de verificación |
| Senador Ben Cardin (EE.UU.) | Videollamada suplantando funcionario ucraniano | Detectado | Inconsistencias en comportamiento |
Los casos de WPP y Ferrari ilustran una verdad crucial: mientras las herramientas de detección técnica de deepfakes están en una carrera armamentista continua con la tecnología de generación, la defensa más fiable actualmente es procedimental. Las organizaciones deben integrar pasos de verificación simples y obligatorios para cualquier solicitud sensible o inusual.
9.2.3 Malware polimórfico con IA
Los atacantes también utilizan IA para revolucionar el desarrollo de malware. El avance más significativo es el malware polimórfico generado por IA —código malicioso diseñado para cambiar constantemente sus características identificables (hash de archivo, estructura del código) cada vez que se replica (Khalil, 2025).
Esta capacidad de cambio de forma permite evadir la detección por herramientas antivirus tradicionales que dependen de firmas estáticas. La IA potencia esta capacidad: algunas variantes avanzadas generan una nueva versión única de sí mismas cada 15 segundos durante un ataque. En 2025, las tácticas polimórficas están presentes en aproximadamente el 76.4% de las campañas de phishing, y más del 70% de las brechas principales involucran alguna forma de malware polimórfico.
9.2.4 Ataques adversariales a sistemas de IA
Los propios sistemas de IA defensivos son vulnerables a ataques específicos (Radanliev et al., 2025):
Ataques de evasión: El atacante realiza modificaciones sutiles a una entrada (archivo, paquete de red) para engañar a un clasificador de IA y que lo clasifique incorrectamente —por ejemplo, etiquetando un archivo malicioso como seguro.
Envenenamiento de datos: Técnica más insidiosa donde el adversario ataca un modelo de IA durante su fase de entrenamiento, inyectando datos falsos, sesgados o maliciosos. Con el tiempo, una IA de seguridad envenenada puede aprender a confiar implícitamente en direcciones IP maliciosas o ignorar señales de tipos específicos de ataques.
9.3 El caso especial de la desinformación
La capacidad de generar texto, imágenes y vídeo sintéticos a escala amenaza la integridad del ecosistema informativo y plantea riesgos geopolíticos sin precedentes.
9.3.1 Deepfakes y sistemas nucleares
El artículo de Foreign Affairs de Dumbacher (2025) advierte sobre un escenario particularmente preocupante: deepfakes que podrían influir en decisiones nucleares (Dumbacher, 2025):
“La proliferación rápida de inteligencia artificial ha exacerbado las amenazas a la estabilidad nuclear. Un temor es que un estado con armas nucleares delegue la decisión de usar armas nucleares a máquinas.”
El potencial disruptivo puede ilustrarse con numerosos ejemplos:
- Semanas después de la invasión rusa de Ucrania (2022), un deepfake ampliamente compartido mostraba al presidente Zelensky diciéndole a los ucranianos que depusieran las armas.
- En 2023, un deepfake llevó a la gente a creer falsamente que Putin había interrumpido la televisión estatal para declarar una movilización a gran escala.
Código
# Matriz de riesgos conceptual
risk_scenarios <- tibble(
escenario = c("Interpretación errónea\nde ejercicios militares",
"Falso anuncio de\nmovilización/ataque",
"Pretexto fabricado\npara conflicto",
"Deepfake en alerta\ntemprana nuclear"),
velocidad_decision = c(3, 4, 2, 5), # 1-5 scale
potencial_escalada = c(4, 4, 3, 5),
consecuencias = c("Alta", "Alta", "Media", "Catastrófica")
)
ggplot(risk_scenarios, aes(x = velocidad_decision, y = potencial_escalada,
size = ifelse(consecuencias == "Catastrófica", 15, 10))) +
geom_point(aes(color = consecuencias), alpha = 0.7) +
geom_text(aes(label = escenario),
vjust = 2.5, size = 3, lineheight = 0.8) +
scale_color_manual(values = c("Catastrófica" = "#c0392b",
"Alta" = "#e67e22",
"Media" = "#f1c40f"),
name = "Consecuencias") +
scale_size_identity() +
labs(
title = "Matriz de riesgos: Deepfakes en seguridad nacional",
subtitle = "Escenarios donde información sintética puede desencadenar respuestas reales",
x = "Velocidad de decisión requerida →",
y = "Potencial de escalada →",
caption = "Fuente: Adaptado de Dumbacher (2025), Foreign Affairs"
) +
theme_minimal(base_size = 12) +
theme(
plot.title = element_text(face = "bold"),
legend.position = "right"
) +
coord_cartesian(xlim = c(1, 6), ylim = c(1, 6))“La IA ya puede engañar a líderes haciéndoles ver un ataque que no existe. (…) Las agencias de inteligencia necesitan mejorar en rastrear la procedencia de información derivada de IA y estandarizar cómo transmiten a los responsables políticos cuando los datos son aumentados o sintéticos” (Dumbacher, 2025).
9.3.2 Recomendaciones para sistemas nucleares
Dumbacher propone medidas específicas (Dumbacher, 2025):
- Control humano absoluto: Todos los estados con armas nucleares deberían acordar que solo actores humanos tomarán decisiones de uso nuclear.
- Límites a integración de IA: No reemplazar verificaciones de personal altamente capacitado con herramientas de IA ni usar IA para fusionar fuentes de datos en análisis de alerta temprana.
- Mejora en canales de crisis: Establecer líneas de comunicación directa entre todas las potencias nucleares principales.
- Verificación de información: Implementar protocolos para validar información antes de decisiones críticas.
9.4 Contramedidas y gobernanza
El marco NIST AI RMF y otras iniciativas proporcionan guías para gestionar riesgos de IA en ciberseguridad (National Institute of Standards and Technology, 2023):
Código
countermeasures <- tibble(
`Contramedida` = c(
"Detección de deepfakes",
"Verificación out-of-band",
"Arquitectura Zero Trust",
"Watermarking de contenido IA",
"Estándares C2PA",
"IA defensiva (detección anomalías)"
),
`Amenaza objetivo` = c(
"Suplantación de identidad",
"Phishing/vishing",
"Acceso no autorizado",
"Contenido sintético",
"Autenticidad de medios",
"Malware y intrusiones"
),
`Efectividad` = c(
"Limitada y decreciente",
"Alta",
"Alta",
"Moderada",
"Emergente",
"Alta"
),
`Limitación principal` = c(
"Carrera armamentista continua",
"Requiere cambio cultural",
"Complejidad implementación",
"Puede eliminarse",
"Adopción incompleta",
"Vulnerable a ataques adversariales"
)
)
tabla_bonita(countermeasures)| Contramedida | Amenaza objetivo | Efectividad | Limitación principal |
|---|---|---|---|
| Detección de deepfakes | Suplantación de identidad | Limitada y decreciente | Carrera armamentista continua |
| Verificación out-of-band | Phishing/vishing | Alta | Requiere cambio cultural |
| Arquitectura Zero Trust | Acceso no autorizado | Alta | Complejidad implementación |
| Watermarking de contenido IA | Contenido sintético | Moderada | Puede eliminarse |
| Estándares C2PA | Autenticidad de medios | Emergente | Adopción incompleta |
| IA defensiva (detección anomalías) | Malware y intrusiones | Alta | Vulnerable a ataques adversariales |
La realidad es que la dinámica fundamental favorece a los atacantes: crear contenido falso es más fácil que detectarlo con certeza. Como concluye el informe de DeepStrike: “La carrera armamentista de IA de 2025 ha creado una nueva realidad: la línea base de ataques se ha elevado permanentemente” (Khalil, 2025).
📚 Referencias del capítulo
- Radanliev et al. (2025) — Ciberseguridad y resiliencia de IA generativa
- Khalil (2025) — Amenazas de ciberseguridad IA 2025
- Dumbacher (2025) — Deepfakes y riesgos para sistemas nucleares
- National Institute of Standards and Technology (2023) — Marco de gestión de riesgos de IA del NIST
- Hazell (2023) — Uso de LLMs para escalar campañas de phishing
10 Armas autónomas y uso militar de la IA
10.1 El contexto estratégico
Las principales potencias militares han incorporado la IA como componente central de sus estrategias de defensa. El programa Replicator del Pentágono para “enjambres” de armas basadas en IA promete un cambio drástico hacia unidades altamente autónomas y cooperativas en los próximos años. Muchos de estos nuevos sistemas ya están en fase de despliegue real, tras emplearse por primera vez varios de ellos en la guerra de Ucrania (Simmons-Edler et al., 2024).
Simmons-Edler, Badman y Rajan sostenían en la 41st International Conference on Machine Learning que, pese a las preocupaciones generales sobre IA, “ha habido relativamente poca atención a desarrollos recientes específicos de grupos militares y de la industria de defensa, que ya han comenzado a desplegar sistemas de armas autónomas guiadas por IA de próxima generación” (Simmons-Edler et al., 2024, p. 1).
Por supuesto, hay pocas garantías de que el uso de estos sistemas quede restringido el círculo de actores estatales o ejércitos profesionales, como señala (Kwik, 2022).
La proliferación de sistemas autónomos de armas (AWS) entre actores estatales plantea un escenario paradójico: la reducción de bajas propias en el campo de batalla convencional podría incentivar formas de violencia no convencionales por parte de adversarios menos equipados tecnológicamente:
“AWS-heavy armies with minimal human battlefield presence may lead to a rise in terrorism, assassination, attacks on civilians, and other methods extending beyond the traditional battlefield.”
“These abhorrent methods provide a way for less powerful nations who lack AWS to deter or retaliate against nations deploying AWS-heavy forces despite their inability to do so through battlefield casualties.”
— Simmons-Edler et al. (2024, p. 2)
Esta asimetría tecnológica no elimina el conflicto; lo desplaza hacia espacios donde la superioridad técnica resulta menos determinante, incrementando el riesgo para poblaciones civiles.
10.2 Estado actual de los sistemas autónomos
10.2.1 Sistemas aéreos: Municiones de merodeo
Uno de los tipos de AWS más establecidos son las municiones de merodeo (loitering munitions) —unidades aéreas de combate no tripuladas de un solo uso que pueden flotar o circular, realizar detección y targeting, y luego lanzarse autónomamente contra objetivos (Simmons-Edler et al., 2024).
Código
aws_systems <- tibble(
`Sistema` = c("Harpy/Harop (Israel)", "Lancet-3 (Rusia)", "Kargu-2 (Turquía)",
"XQ-58 Valkyrie (EE.UU.)", "Wing Loong (China)",
"Ghost Shark (Australia)", "Sea Hunter (EE.UU.)"),
`Dominio` = c("Aéreo", "Aéreo", "Aéreo",
"Aéreo", "Aéreo",
"Naval", "Naval"),
`Tipo` = c("Munición de merodeo", "Munición de merodeo", "Dron kamikaze",
"Dron de combate wingman", "UCAV multirrol",
"Submarino autónomo", "USV antisubmarino"),
`Capacidad autónoma` = c("Detección/ataque radar", "Reconocimiento facial IA",
"Identificación objetivos IA", "Vuelo autónomo completo",
"Múltiples modos autónomos",
"Navegación/misión autónoma", "Seguimiento autónomo"),
`Estado` = c("Operativo décadas", "Combate activo Ucrania",
"Usado en Libia/NK", "Pruebas avanzadas",
"Exportado a múltiples países",
"Desarrollo", "Pruebas operativas")
)
tabla_bonita(aws_systems)| Sistema | Dominio | Tipo | Capacidad autónoma | Estado |
|---|---|---|---|---|
| Harpy/Harop (Israel) | Aéreo | Munición de merodeo | Detección/ataque radar | Operativo décadas |
| Lancet-3 (Rusia) | Aéreo | Munición de merodeo | Reconocimiento facial IA | Combate activo Ucrania |
| Kargu-2 (Turquía) | Aéreo | Dron kamikaze | Identificación objetivos IA | Usado en Libia/NK |
| XQ-58 Valkyrie (EE.UU.) | Aéreo | Dron de combate wingman | Vuelo autónomo completo | Pruebas avanzadas |
| Wing Loong (China) | Aéreo | UCAV multirrol | Múltiples modos autónomos | Exportado a múltiples países |
| Ghost Shark (Australia) | Naval | Submarino autónomo | Navegación/misión autónoma | Desarrollo |
| Sea Hunter (EE.UU.) | Naval | USV antisubmarino | Seguimiento autónomo | Pruebas operativas |
Desde el Harpy israelí (operativo desde los años 90), el número de municiones de merodeo se ha expandido rápidamente: al menos 24 modelos de variado tamaño y sofisticación en 16 países (Valle & Moreno, 2024). Cabe destacar que el rango de objetivos se ha expandido de sistemas de radar a vehículos blindados e incluso personal humano específico identificable por deep learning y reconocimiento facial sin intervención del operador (Simmons-Edler et al., 2024).
El Lancet-3 ruso, desplegado extensivamente en Ucrania, ha demostrado capacidades de reconocimiento facial y targeting autónomo, y está fabricado con componentes extranjeros que le otorgan capacidades avanzadas de anti-jamming (Faragasso, 2023).
10.2.2 Implicaciones del conflicto en Ucrania
La guerra en Ucrania sirve como campo de pruebas para sistemas autónomos de múltiples naciones (Simmons-Edler et al., 2024):
Ambos bandos utilizan extensivamente drones comerciales modificados con capacidades de targeting asistidas por IA, incluyendo reconocimiento de objetivos y seguimiento autónomo.
Rusia ha desplegado municiones de merodeo Lancet equipadas con módulos Nvidia Jetson TX2 para seguimiento autónomo de objetivos, aunque persisten dudas —derivadas de obstáculos técnicos no resueltos— sobre si el modo completamente autónomo se ha llegado a utilizar en contexto operacionalmente (Hambling, 2023).
El umbral de decisiones letales sin intervención humana directa parece haberse cruzado en múltiples conflictos recientes: en Libia (2020), el informe del Panel de Expertos de la ONU documentó el uso del Kargu-2 turco con capacidad “fire, forget and find” contra fuerzas en retirada (United Nations Security Council, 2021); en Gaza (2023-2024), el sistema Lavender generó listas de hasta 37.000 objetivos con verificación humana de apenas 20 segundos por caso (Abraham, 2024). Estos casos ilustran cómo la supervisión humana puede reducirse a una formalidad incompatible con el requerimiento de control humano significativo (Bode & Watts, 2023a).
Código
# Datos de países con AWS
aws_countries <- tibble(
pais = c("Estados Unidos", "China", "Rusia", "Israel", "Turquía",
"Reino Unido", "Francia", "Australia", "Corea del Sur", "Irán"),
nivel_desarrollo = c("Avanzado", "Avanzado", "Avanzado", "Avanzado", "Medio-Alto",
"Alto", "Alto", "Alto", "Alto", "Medio"),
despliegue_activo = c("Sí", "Sí", "Sí", "Sí", "Sí",
"Parcial", "Parcial", "No", "No", "Sí"),
score = c(5, 5, 5, 5, 4, 4, 4, 3, 3, 3)
)
ggplot(aws_countries, aes(x = reorder(pais, score), y = score,
fill = despliegue_activo)) +
geom_col(width = 0.7) +
geom_text(aes(label = nivel_desarrollo), hjust = -0.1, size = 3) +
coord_flip() +
scale_fill_manual(values = c("Sí" = "#e74c3c", "Parcial" = "#f39c12", "No" = "#3498db"),
name = "Despliegue activo") +
labs(
title = "Desarrollo de armas autónomas por país",
subtitle = "Nivel de desarrollo y estado de despliegue (2024)",
x = NULL,
y = "Nivel de desarrollo (escala relativa)",
caption = "Fuente: Simmons-Edler et al. (2024), ICML"
) +
theme_minimal(base_size = 12) +
theme(
plot.title = element_text(face = "bold"),
legend.position = "bottom"
)10.3 Preocupaciones éticas y legales
10.3.1 Control humano significativo
El concepto de control humano significativo (meaningful human control, MHC), acuñado por la organización Article 36 en 2014, se ha convertido en el principio central de la ética y regulación de AWS (Simmons-Edler et al., 2024). Sin embargo, como señalan los autores:
“Los expertos en políticas necesitan desarrollar consenso sobre niveles de autonomía funcional en AWS, y qué constituye un AWS suficientemente autónomo para requerir regulación.”
Simmons-Edler y colaboradores proponen como ideal normativo “una prohibición internacional completa de AWS que tomen decisiones letales sin intervención humana directa en el momento de disparo del arma, una línea que ya se ha cruzado en combate en la guerra de Ucrania” (Simmons-Edler et al., 2024, p. 8).
10.3.2 Problemas fundamentales
Responsabilidad difusa: ¿Quién es responsable cuando un sistema autónomo causa bajas civiles? La cadena de mando tradicional se difumina cuando las decisiones de targeting son tomadas por algoritmos.
Proporcionalidad y distinción: Los principios del derecho internacional humanitario requieren distinguir combatientes de civiles y usar fuerza proporcional. No está demostrado que los sistemas autónomos puedan cumplir estos requisitos de modo fiable en condiciones reales de combate.
Umbral de conflicto: Si la guerra se vuelve “más fácil” porque no hay bajas propias, ¿disminuye el umbral político para iniciar conflictos? Los autores argumentan que “la presencia humana ‘boots-on-the-ground’ puede significar un compromiso con seguir las reglas de la guerra, mejorar aspectos humanitarios de ocupación, y mantener un coste humano de la guerra para naciones agresoras que podría contribuir a evitar que un estado de guerra sin fin sea políticamente factible” (Simmons-Edler et al., 2024, pp. 1-2).
10.3.3 El problema del alineamiento en contextos letales
Los desafíos de control humano significativo en sistemas de armas autónomas constituyen una instancia particularmente grave del problema general de alineamiento que Stuart Russell ha articulado para sistemas de IA avanzados (Russell, 2019). Russell argumenta que la dificultad fundamental no es técnica en sentido estrecho —construir sistemas que ejecuten instrucciones— sino especificativa: ¿cómo articulamos exactamente lo que queremos que un sistema autónomo optimice?
En el contexto militar, esta pregunta adquiere urgencia existencial. Una función objetivo que maximice “neutralizar amenazas” puede llevar a comportamientos que satisfacen la especificación literal pero violan principios humanitarios fundamentales. Los sistemas actuales ya exhiben comportamientos emergentes no anticipados por sus diseñadores; en sistemas con capacidad letal, tales comportamientos pueden tener consecuencias graves e irreversibles.
Russell propone que los sistemas de IA deberían diseñarse como “máquinas de utilidad inversa” que infieren preferencias humanas a partir de observación en lugar de optimizar funciones objetivo fijas. Esta propuesta, aunque teóricamente atractiva, permanece lejos de su implementación práctica —difícilmente podría aplicarse en contextos de combate, donde las “preferencias humanas” pueden ser contradictorias o éticamente problemáticas—, por lo que resulta cuestionable y de escasa utilidad. Lo que sí está claro es que el despliegue de sistemas letales autónomos sin resolver el problema de alineamiento constituye, en palabras de Russell, “posiblemente el error más grave que la humanidad podría cometer”.
10.3.4 Impacto en la investigación académica
Un aspecto menos discutido es el impacto sobre la investigación en IA. Simmons-Edler y su grupo lo plantean como una advertencia:
“Si la amenaza planteada por IA y AWS continúa siendo equiparada retóricamente a la de armas nucleares, los países podrían comenzar a restringir a investigadores de ML de manera similar a cómo los científicos nucleares han tenido restringidos sus viajes y bloqueadas sus publicaciones sobre ciertos temas.” (Simmons-Edler et al., 2024, p. 8)
Algunas universidades ya han sido incluidas en listas negras por contribuir al desarrollo de armas con IA. La estrategia de “fusión militar-civil” (Military-Civil Fusion) impulsada por China ha desdibujado las fronteras entre investigación académica y desarrollo armamentístico, integrando sistemáticamente universidades e infraestructuras tecnológicas civiles en programas de armas autónomas.
Esta dinámica ha provocado que Estados Unidos incluya en su Entity List a instituciones académicas chinas de alto rango —como el Harbin Institute of Technology, Beijing Institute of Technology o Nanjing University of Aeronautics— restringiendo su acceso a tecnología estadounidense por contribuir al desarrollo de capacidades militares con IA. El precedente establece un marco de sanciones que podría extenderse a otros países conforme la competición geopolítica en AWS se intensifique (Konaev et al., 2023).
Pero, a escala mundial, es probable que la financiación gubernamental para investigación académica en IA se concentre cada vez más en temas de doble uso aplicables al desarrollo de AWS (Dresp-Langley, 2023; Edwards, 2023).
10.4 Intentos de regulación
Los esfuerzos internacionales han producido resultados limitados. La fragmentación normativa constituye el principal obstáculo para un marco vinculante: no existe consenso internacional sobre qué nivel de autonomía funcional debería activar la regulación, ni sobre la definición operativa de “control humano significativo”. Esta ambigüedad conceptual favorece a las potencias tecnológicamente avanzadas, que pueden desarrollar sistemas cada vez más autónomos mientras participan en negociaciones interminables sobre terminología. El problema se agrava porque la línea de sistemas letales que operan sin intervención humana directa ya ha sido cruzada en combate —documentado en la guerra de Ucrania y en múltiples conflictos con municiones merodeadoras— convirtiendo eventuales prohibiciones en políticamente inviables.
Las medidas adoptadas hasta la fecha comparten una limitación estructural: carecen de mecanismos de control y sanción (enforcement) efectivos. Las resoluciones de la ONU, aunque simbólicamente relevantes, no imponen obligaciones jurídicas ni sanciones por incumplimiento; los llamamientos multilaterales como el de La Haya (2023) dependen enteramente de la voluntad política de los firmantes. Incluso el EU AI Act, la regulación más ambiciosa hasta la fecha, mantiene deliberadamente ambiguas sus implicaciones para los sistemas autónomos de armas, evidenciando la tensión entre los imperativos de seguridad nacional y los principios del derecho humanitario internacional (Simmons-Edler et al., 2024, pp. 8-9).
Código
regulation_timeline <- tibble(
`Año` = c(2010, 2013, 2014, 2023, 2023, 2025),
`Evento` = c(
"ICRAC pide regulación de armas autónomas",
"Campaña Stop Killer Robots lanzada",
"Acuñado 'control humano significativo'",
"Resolución ONU sobre regulación estricta de AWS",
"60 países emiten llamamiento en La Haya",
"Postura CICR actualizada"
),
`Alcance` = c(
"Académico/advocacy",
"Coalición de ONGs global",
"Marco conceptual",
"No vinculante",
"No vinculante",
"Derecho humanitario"
),
`Resultado` = c(
"Concienciación inicial",
"Presión pública continua",
"Principio central de regulación",
"Aprobada pero sin enforcement",
"Uso responsable de IA militar",
"Oposición a sistemas sin control humano"
)
)
tabla_bonita(regulation_timeline)| Año | Evento | Alcance | Resultado |
|---|---|---|---|
| 2010 | ICRAC pide regulación de armas autónomas | Académico/advocacy | Concienciación inicial |
| 2013 | Campaña Stop Killer Robots lanzada | Coalición de ONGs global | Presión pública continua |
| 2014 | Acuñado 'control humano significativo' | Marco conceptual | Principio central de regulación |
| 2023 | Resolución ONU sobre regulación estricta de AWS | No vinculante | Aprobada pero sin enforcement |
| 2023 | 60 países emiten llamamiento en La Haya | No vinculante | Uso responsable de IA militar |
| 2025 | Postura CICR actualizada | Derecho humanitario | Oposición a sistemas sin control humano |
“El momento para discutir prohibiciones ‘parece cada vez más en el pasado’, dado que las principales potencias ya han comprometido estos sistemas como componentes centrales de sus fuerzas” (Simmons-Edler et al., 2024, p. 9). La regulación efectiva requiere actuar antes de que los sistemas estén completamente desplegados y normalizados.
📚 Referencias del capítulo
11 Impacto laboral y futuro del trabajo
11.1 El debate sobre el desplazamiento
Pocas cuestiones generan tanta ansiedad como el impacto de la IA en el empleo. Los titulares oscilan entre predicciones apocalípticas y optimismo tecnoutópico. La evidencia empírica emergente ofrece un panorama más matizado pero con señales preocupantes.
El estudio seminal de Eloundou y colaboradores, publicado en Science (2024) con el evocador título “GPTs are GPTs” (e interpretable como “los GPT son tecnologías de propósito general”), proporciona el marco analítico más riguroso para evaluar la exposición ocupacional a LLMs (Eloundou et al., 2024).
11.2 Marco metodológico: Exposición por tareas
El enfoque de Eloundou et al. se basa en analizar la exposición a nivel de tareas dentro de ocupaciones, no ocupaciones completas. Utilizando la base de datos O*NET 27.2 (que cubre 1016 ocupaciones), evaluaron si el acceso a un LLM o software complementario reduciría el tiempo de completar una tarea en al menos 50% manteniendo calidad (Eloundou et al., 2024).
Código
# Datos de Eloundou et al. (2024), Science, Tabla principal
exposure_data <- tibble(
nivel = c("E1 (LLM solo)", "E1 + 0.5×E2", "E1 + E2"),
`Ocupaciones (%)` = c(14, 30, 46),
tipo = c("Conservador", "Intermedio", "Completo")
)
# Grafico de exposición acumulada
occupation_exposure <- tibble(
pct_ocupaciones = seq(0, 100, 5),
E1 = c(100, 98, 95, 90, 82, 70, 55, 40, 28, 18, 12, 8, 5, 3, 2, 1, 0.5, 0.2, 0.1, 0, 0),
`E1 + E2` = c(100, 100, 98, 95, 90, 85, 78, 70, 62, 52, 42, 32, 24, 18, 12, 8, 5, 3, 2, 1, 0.5),
`E1 + 0.5×E2` = c(100, 99, 96, 92, 85, 76, 65, 54, 44, 34, 26, 20, 15, 10, 7, 4, 2.5, 1.5, 1, 0.5, 0.2)
) %>%
pivot_longer(cols = -pct_ocupaciones,
names_to = "nivel_exposicion",
values_to = "pct_tareas_expuestas")
ggplot(occupation_exposure, aes(x = pct_tareas_expuestas, y = pct_ocupaciones,
color = nivel_exposicion)) +
geom_line(linewidth = 1.2) +
geom_area(aes(fill = nivel_exposicion), alpha = 0.1, position = "identity") +
scale_color_manual(values = c("#e74c3c", "#f39c12", "#3498db"),
name = "Nivel de exposición") +
scale_fill_manual(values = c("#e74c3c", "#f39c12", "#3498db"),
guide = "none") +
labs(
title = "Exposición de ocupaciones a GPTs",
subtitle = "Porcentaje de ocupaciones con al menos X% de tareas expuestas",
x = "Porcentaje mínimo de tareas expuestas",
y = "Porcentaje de ocupaciones",
caption = "Fuente: Eloundou et al. (2024), Science 384:1306-1307"
) +
theme_minimal(base_size = 12) +
theme(
plot.title = element_text(face = "bold"),
legend.position = "bottom"
)Los hallazgos principales (Eloundou et al., 2024):
- Exposición actual (E1): ~14% de tareas por ocupación en promedio son relevantes para LLMs con interfaces simples.
- Exposición potencial (E1 + E2): Sube al 46-55% considerando software complementario.
- Cobertura de trabajadores: ~80% de trabajadores están en ocupaciones con al menos 10% de tareas expuestas; el 18.5% tiene más del 50% de sus tareas expuestas.
11.2.1 Exposición por nivel de preparación
Un hallazgo contraintuitivo: las ocupaciones que requieren más preparación (Job Zones 4-5: abogados, farmacéuticos, administradores de bases de datos) están más expuestas que aquellas con menores barreras de entrada (Eloundou et al., 2024, p. 1307):
Código
# Datos aproximados de la figura de Science
wage_exposure <- tibble(
salario_anual = c(30, 35, 40, 45, 50, 55, 60, 65, 70, 80, 90, 100, 120, 150, 200),
exposicion = c(15, 18, 22, 25, 28, 30, 32, 34, 36, 38, 40, 42, 44, 45, 48),
exposicion_lower = c(10, 12, 15, 18, 20, 22, 24, 26, 28, 30, 32, 34, 36, 37, 38),
exposicion_upper = c(20, 24, 29, 32, 36, 38, 40, 42, 44, 46, 48, 50, 52, 53, 58)
)
ggplot(wage_exposure, aes(x = salario_anual, y = exposicion)) +
geom_ribbon(aes(ymin = exposicion_lower, ymax = exposicion_upper),
fill = "#3498db", alpha = 0.3) +
geom_line(color = "#3498db", linewidth = 1.2) +
geom_point(color = "#3498db", size = 2) +
scale_x_log10(labels = scales::dollar_format(suffix = "K")) +
labs(
title = "Exposición a GPTs por nivel salarial",
subtitle = "Las ocupaciones de mayor salario tienen más tareas expuestas a LLMs",
x = "Salario anual medio (escala logarítmica)",
y = "Porcentaje de tareas expuestas (E1 + 0.5×E2)",
caption = "Fuente: Eloundou et al. (2024), Science. IC 95% mostrado."
) +
theme_minimal(base_size = 12) +
theme(plot.title = element_text(face = "bold"))11.3 Evidencia empírica: Correlación exposición-desempleo
El estudio de Ozkan y Sullivan (2025) de la Reserva Federal de St. Louis proporciona la primera evidencia empírica sólida conectando exposición teórica a IA con cambios reales en desempleo (Ozkan & Sullivan, 2025):
Código
# Datos de Ozkan & Sullivan (2025), Fed St. Louis
fed_data <- tibble(
ocupacion = c("Informática y\nmatemáticas", "Negocios y\nfinanzas",
"Arquitectura e\ningeniería", "Arte y\ndiseño",
"Oficina y\nadministración", "Legal",
"Ventas", "Servicios\npersonales",
"Construcción", "Producción"),
exposicion_ia = c(0.80, 0.65, 0.58, 0.55, 0.50, 0.48,
0.35, 0.20, 0.15, 0.25),
cambio_desempleo = c(2.8, 1.5, 1.3, 1.2, 0.8, 0.7,
0.5, 0.3, 0.2, 0.4)
)
# Calcular correlación
correlation <- cor(fed_data$exposicion_ia, fed_data$cambio_desempleo)
ggplot(fed_data, aes(x = exposicion_ia, y = cambio_desempleo)) +
geom_point(aes(size = cambio_desempleo), color = "#e74c3c", alpha = 0.7) +
geom_smooth(method = "lm", se = TRUE, color = "#3498db",
fill = "#3498db", alpha = 0.2) +
geom_text(aes(label = ocupacion), vjust = -1.2, size = 2.8,
check_overlap = TRUE) +
scale_x_continuous(labels = scales::percent, limits = c(0, 1)) +
scale_size_continuous(range = c(3, 10), guide = "none") +
annotate("text", x = 0.7, y = 0.5,
label = paste0("r = ", round(correlation, 2)),
fontface = "bold", size = 5, color = "#2c3e50") +
labs(
title = "Exposición a IA y cambio en desempleo por ocupación",
subtitle = "Correlación de 0.47 entre exposición teórica y aumento real de desempleo (2022-2025)",
x = "Índice de exposición a IA",
y = "Cambio en tasa de desempleo (puntos porcentuales)",
caption = "Fuente: Ozkan & Sullivan (2025), Federal Reserve Bank of St. Louis"
) +
theme_minimal(base_size = 12) +
theme(
plot.title = element_text(face = "bold")
)La correlación de 0.47 entre exposición a IA y aumento de desempleo es estadísticamente significativa y económicamente sustancial. Las ocupaciones informáticas y matemáticas —las más expuestas con ~80%— han experimentado los mayores incrementos de desempleo (Ozkan & Sullivan, 2025).
11.4 El efecto complementariedad: Evidencia de call centers
El estudio de Brynjolfsson, Li y Raymond (2023), un working paper del NBER, proporciona la primera evidencia experimental del impacto de IA generativa en productividad laboral real (Brynjolfsson et al., 2023):
Código
# Datos de Brynjolfsson et al. (2023), NBER Working Paper
skill_impact <- tibble(
quintil_habilidad = factor(c("Q1\n(Menor)", "Q2", "Q3", "Q4", "Q5\n(Mayor)"),
levels = c("Q1\n(Menor)", "Q2", "Q3", "Q4", "Q5\n(Mayor)")),
mejora_resolucion = c(34, 22, 15, 8, 0),
mejora_resolucion_lower = c(28, 16, 10, 3, -5),
mejora_resolucion_upper = c(40, 28, 20, 13, 5)
)
ggplot(skill_impact, aes(x = quintil_habilidad, y = mejora_resolucion)) +
geom_col(fill = "#27ae60", width = 0.6) +
geom_errorbar(aes(ymin = mejora_resolucion_lower, ymax = mejora_resolucion_upper),
width = 0.2, color = "#2c3e50") +
geom_text(aes(label = paste0("+", mejora_resolucion, "%")),
vjust = -0.5, fontface = "bold") +
geom_hline(yintercept = 0, linetype = "dashed", color = "#7f8c8d") +
labs(
title = "Impacto de IA en productividad por nivel de habilidad",
subtitle = "Cambio en resoluciones por hora tras acceso a asistente IA (5,179 agentes)",
x = "Quintil de habilidad pre-IA",
y = "Mejora en resoluciones por hora (%)",
caption = "Fuente: Brynjolfsson et al. (2023), NBER Working Paper 31161"
) +
theme_minimal(base_size = 12) +
theme(
plot.title = element_text(face = "bold")
) +
scale_y_continuous(limits = c(-10, 50))El estudio siguió a 5179 agentes de atención al cliente en una empresa Fortune 500 durante el despliegue escalonado de un asistente conversacional basado en GPT. Los hallazgos clave (Brynjolfsson et al., 2023):
Productividad global: Incremento del 14% en issues resueltos por hora en promedio.
Heterogeneidad por habilidad: Los trabajadores del quintil más bajo de habilidad mejoraron 34%, mientras que los top performers no mostraron mejora significativa (e incluso ligero deterioro en satisfacción del cliente).
Mecanismo propuesto: “La asistencia IA parece funcionar exponiendo a trabajadores de menor habilidad a las mejores prácticas de trabajadores de mayor habilidad” (Brynjolfsson et al., 2023). El sistema de IA fue entrenado en conversaciones de top performers.
Aprendizaje persistente: Incluso durante cortes del sistema (cuando las recomendaciones no estaban disponibles), los trabajadores que habían usado la IA mostraban mejor rendimiento que su baseline pre-IA.
Código
# Datos de la figura de curva de experiencia
experience_data <- tibble(
meses = rep(c(0.5, 1, 2, 3, 6, 12), 2),
grupo = rep(c("Con IA", "Sin IA"), each = 6),
resolucion_hora = c(
# Con IA
1.8, 2.1, 2.4, 2.5, 2.6, 2.7,
# Sin IA
1.5, 1.7, 1.9, 2.1, 2.4, 2.6
)
)
ggplot(experience_data, aes(x = meses, y = resolucion_hora,
color = grupo, linetype = grupo)) +
geom_line(linewidth = 1.2) +
geom_point(size = 3) +
annotate("segment", x = 2, xend = 6, y = 2.4, yend = 2.4,
arrow = arrow(ends = "both", length = unit(0.1, "inches")),
color = "#2c3e50") +
annotate("text", x = 4, y = 2.5,
label = "Equivalencia de rendimiento",
size = 3, fontface = "italic") +
scale_color_manual(values = c("#27ae60", "#e74c3c"), name = NULL) +
scale_linetype_manual(values = c("solid", "dashed"), name = NULL) +
labs(
title = "Curva de aprendizaje: Aceleración con asistencia IA",
subtitle = "Agentes con 2 meses + IA rinden como agentes con 6+ meses sin IA",
x = "Meses de experiencia",
y = "Resoluciones por hora",
caption = "Fuente: Brynjolfsson et al. (2023), NBER Working Paper 31161"
) +
theme_minimal(base_size = 12) +
theme(
plot.title = element_text(face = "bold"),
legend.position = "bottom"
)11.4.1 La dimensión extractiva del trabajo en IA
El análisis del impacto laboral quedaría incompleto sin considerar la perspectiva de Kate Crawford (Crawford, 2021) sobre la IA como “tecnología de extracción”. Las cadenas de valor que hacen posible la IA generativa dependen de formas de trabajo que raramente aparecen en los análisis de productividad y desplazamiento:
Anotadores de datos: Miles de trabajadores, frecuentemente en el Sur Global, etiquetan imágenes, transcriben audio y clasifican contenido por salarios que pueden ser inferiores a 2 dólares por hora. Sin este trabajo invisible, los modelos de IA no podrían entrenarse.
Moderadores de contenido: Trabajadores expuestos a contenido traumático para filtrar outputs inaceptables de los modelos, con tasas documentadas de estrés postraumático y burnout.
Trabajadores de verificación: El “human in the loop” que hace fiables los sistemas de IA en contextos críticos frecuentemente consiste en trabajadores precarios que absorben los costes de las limitaciones técnicas.
Esta perspectiva revela que la “automatización” no elimina el trabajo humano sino que lo reorganiza y, frecuentemente, lo precariza. Los beneficios de productividad documentados en estudios como el de Brynjolfsson et al. deben sopesarse contra estas formas de trabajo extractivo que permanecen invisibles en las métricas convencionales. La pregunta no es solo “¿cuántos empleos se pierden?” sino “¿qué tipo de trabajo se crea, para quién, en qué condiciones?”.
11.5 Síntesis: Complementariedad vs. sustitución
La evidencia sugiere un patrón complejo de efectos diferenciados:
Código
labor_synthesis <- tibble(
`Dimensión` = c(
"Exposición por tareas",
"Exposición por salario",
"Correlación exposición-desempleo",
"Productividad (complementariedad)",
"Distribución de beneficios",
"Horizonte temporal"
),
`Hallazgo principal` = c(
"46-55% de tareas potencialmente afectadas",
"Mayor exposición en ocupaciones de alto salario",
"r = 0.47 (significativa)",
"+14% promedio; +34% para menos cualificados",
"Beneficios concentrados en trabajadores novatos/menos hábiles",
"Efectos visibles ya en 2022-2025"
),
`Fuente principal` = c(
"Eloundou et al. (2024)",
"Eloundou et al. (2024)",
"Ozkan & Sullivan (2025)",
"Brynjolfsson et al. (2023)",
"Brynjolfsson et al. (2023)",
"Múltiples"
),
`Implicación` = c(
"Transformación amplia del trabajo",
"Invierte patrón típico de automatización",
"El desplazamiento ya está ocurriendo",
"Potencial de complementariedad significativo",
"Los top performers no se benefician",
"Ventana de adaptación limitada"
)
)
tabla_bonita(labor_synthesis)| Dimensión | Hallazgo principal | Fuente principal | Implicación |
|---|---|---|---|
| Exposición por tareas | 46-55% de tareas potencialmente afectadas | Eloundou et al. (2024) | Transformación amplia del trabajo |
| Exposición por salario | Mayor exposición en ocupaciones de alto salario | Eloundou et al. (2024) | Invierte patrón típico de automatización |
| Correlación exposición-desempleo | r = 0.47 (significativa) | Ozkan & Sullivan (2025) | El desplazamiento ya está ocurriendo |
| Productividad (complementariedad) | +14% promedio; +34% para menos cualificados | Brynjolfsson et al. (2023) | Potencial de complementariedad significativo |
| Distribución de beneficios | Beneficios concentrados en trabajadores novatos/menos hábiles | Brynjolfsson et al. (2023) | Los top performers no se benefician |
| Horizonte temporal | Efectos visibles ya en 2022-2025 | Múltiples | Ventana de adaptación limitada |
El estudio del Yale Budget Lab (Gimbel et al., 2025) advierte que “actualmente, las medidas de exposición, automatización y augmentación no muestran señal de estar relacionadas con cambios en empleo o desempleo” a nivel agregado, sugiriendo que se necesitan mejores datos para comprender el impacto completo. Sin embargo, el estudio de la Fed St. Louis sí encuentra correlación significativa a nivel ocupacional.
11.6 Implicaciones para políticas
La magnitud del impacto potencial —con estimaciones que sitúan en más del 46% los empleos cuyas tareas podrían verse afectadas por LLMs cuando se consideran desarrollos de software complementarios— exige respuestas políticas coordinadas y de largo alcance. Como señalan Eloundou y colaboradores, “dado que los LLMs son incipientes, la inversión pública en el seguimiento de su adopción y los consiguientes impactos en el mercado laboral es urgente y necesaria, vital para dar forma a respuestas políticas efectivas” (Eloundou et al., 2024, p. 1308).
La Orden Ejecutiva estadounidense de octubre de 2023 sobre IA reconoce explícitamente esta urgencia, ordenando al Departamento de Trabajo evaluar cómo los programas federales existentes —incluido el seguro de desempleo y los autorizados por la Workforce Innovation and Opportunity Act— podrían responder a disrupciones laborales relacionadas con la IA, e identificar “opciones, incluyendo posibles medidas legislativas, para fortalecer o desarrollar apoyo federal adicional para trabajadores desplazados” (The White House, 2023).
Los análisis convergen en la necesidad de:
Inversión en formación continua: El rápido ritmo de cambio requiere sistemas de actualización de competencias a lo largo de toda la vida laboral, no solo formación inicial.
Redes de seguridad adaptadas: Las transiciones laborales serán frecuentes; se necesitan protecciones que faciliten la movilidad sin penalizar el cambio.
Redistribución de beneficios: Como señala Brynjolfsson: “Los top performers generalmente no son compensados por sus contribuciones a los datos de entrenamiento que los sistemas de IA usan para capturar y diseminar sus habilidades” (Brynjolfsson et al., 2023).
Regulación del ritmo de despliegue: El estudio de Ozkan sugiere que “si las tendencias actuales continúan, nuevos enfoques para desarrollo laboral, redes de seguridad social y apoyo económico para trabajadores desplazados pueden merecer mayor consideración” (Ozkan & Sullivan, 2025).
📚 Referencias del capítulo
- Eloundou et al. (2024) — GPTs are GPTs: Impacto potencial de LLMs en el mercado laboral
- Ozkan & Sullivan (2025) — IA y desempleo: evidencia por ocupación
- Brynjolfsson et al. (2023) — IA generativa en el trabajo: evidencia de call centers
- Gimbel et al. (2025) — Evaluación del impacto de IA en el mercado laboral
- Acemoglu & Restrepo (2019) — Automatización y nuevas tareas
12 Gobernanza y regulación de la IA
12.1 El desafío regulatorio
Regular todo el rango posible de aplicaciones de la IA en los contextos de uso donde pueden materializarse riesgos significativos involucra un extenso listado de objetivos, la mayoría de difícil implementación en un marco operativo preciso y eficaz. Como señalan Novelli y otros, “la regulación no es nada sin enforcement”, y esto es particularmente cierto en el dominio de tecnologías emergentes con ciclos rápidos de evolución (Novelli et al., 2025). Algunas características que dificultan la articulación de marcos regulatorios:
- Velocidad: Las capacidades evolucionan más rápido que los procesos legislativos.
- Opacidad: Los sistemas son difíciles de auditar y sus comportamientos difíciles de predecir.
- Globalización: La IA no respeta fronteras, pero la regulación sí.
- Incertidumbre: Los riesgos futuros son difíciles de anticipar con precisión.
No obstante, existen precedentes históricos que sugieren que la regulación preventiva de tecnologías emergentes es posible incluso bajo condiciones de incertidumbre radical. El caso paradigmático es la Conferencia de Asilomar de 1975 sobre ADN recombinante, donde los propios científicos —liderados por Paul Berg, David Baltimore y Maxine Singer— declararon una moratoria voluntaria sobre experimentos potencialmente peligrosos y establecieron directrices de contención graduadas según niveles de riesgo. Las propuestas de Asilomar se convirtieron rápidamente en regulaciones de agencias de financiación o leyes en múltiples países. El balance retrospectivo es notable: cientos de millones de experimentos, muchos inconcebibles en 1975, se han realizado en las décadas siguientes sin incidentes documentados de riesgo para la salud pública, mientras la biotecnología generaba una industria próspera con aplicaciones médicas, agrícolas e industriales transformadoras (Grace, 2015).
Este modelo de autorregulación científica anticipatoria ha sido invocado repetidamente para tecnologías emergentes. Los Principios de Asilomar sobre IA (2017), formulados por el Future of Life Institute, y el marco IEEE Ethically Aligned Design constituyen intentos de replicar esta lógica para la inteligencia artificial, y son citados como referentes normativos en marcos de gobernanza contemporáneos (Radanliev et al., 2025).
Sin embargo, las analogías tienen límites: como señala el Machine Intelligence Research Institute, “el riesgo del ADN recombinante es probablemente menos novedoso que el riesgo de la IA” (Grace, 2015, p. 8), cuyos escenarios anticipados —desde el desempleo masivo hasta sistemas autónomos con objetivos desalineados— carecen de precedentes históricos directos. Además, la crítica contemporánea a Asilomar advierte que la autorregulación científica, aunque puede asegurar la autonomía investigadora a corto plazo, no sustituye la deliberación democrática sobre tecnologías con impactos sociales profundos. El desafío para la gobernanza de la IA reside precisamente en articular mecanismos que combinen la agilidad técnica con la legitimidad política y la capacidad de arbitrar mecanismos de enforcement efectivos.
12.2 El Reglamento Europeo de IA (AI Act)
La Unión Europea ha asumido un papel de liderazgo global con el primer marco regulatorio comprehensivo para la inteligencia artificial. El AI Act (Reglamento UE 2024/1689), en vigor desde agosto de 2024, constituye un hito legislativo que establece un enfoque basado en riesgos con múltiples niveles de gobernanza institucional (European Parliament and Council, 2024). El criterio de que “la regulación no es nada sin enforcement” ha guiado el diseño de una arquitectura institucional que busca equilibrar la protección de derechos fundamentales con el fomento de la innovación tecnológica (Novelli et al., 2025).
El Reglamento abarca todo el ciclo de vida de los sistemas de IA —desde el diseño hasta el despliegue y monitorización— e introduce obligaciones diferenciadas según el nivel de riesgo, con sanciones que pueden alcanzar el 7% de la facturación global anual o 35 millones de euros para las infracciones más graves. La implementación efectiva del AI Act depende de un entramado institucional coordinado que opera tanto a nivel supranacional como nacional, y cuya complejidad refleja las dificultades inherentes a todo intento de regular tecnologías emergentes con ciclos rápidos de evolución.
12.2.1 Arquitectura de gobernanza
La implementación efectiva del AI Act requiere un marco de gobernanza multinivel sin precedentes en la regulación tecnológica europea. Novelli y otros (2024) analizan en detalle esta arquitectura institucional, que involucra tanto organismos supranacionales de nueva creación como autoridades nacionales preexistentes que deben asumir nuevas competencias (Novelli et al., 2025).
En el ámbito europeo, la estructura pivota sobre cuatro entidades principales: la Oficina de IA (AI Office), integrada en la Dirección General CONNECT de la Comisión, que asume funciones centrales de implementación y enforcement, especialmente para modelos de propósito general (GPAI); el Consejo Europeo de IA (AI Board), compuesto por representantes de los Estados miembros, que coordina la aplicación consistente del Reglamento; el Foro Consultivo (Advisory Forum), que aporta expertise sectorial desde la industria y la sociedad civil; y el Panel Científico (Scientific Panel), formado por expertos independientes responsables de evaluar los riesgos sistémicos de los modelos más avanzados.
En el ámbito estatal, cada Estado miembro debe designar al menos dos autoridades: una de vigilancia del mercado y otra de notificación para la certificación de sistemas de alto riesgo. Esta complejidad institucional refleja el reconocimiento de que regular la IA trasciende las capacidades de cualquier organismo aislado y exige coordinación entre actores con pericia técnica, supervisión de mercado y protección de derechos fundamentales.
Código
# Estructura simplificada de gobernanza
governance_levels <- tibble(
nivel = factor(c("UE", "UE", "UE", "UE", "Nacional", "Nacional"),
levels = c("UE", "Nacional")),
organismo = c("Oficina de IA", "Consejo Europeo de IA",
"Foro Consultivo", "Panel Científico",
"Autoridad de Vigilancia", "Autoridad de Notificación"),
funcion = c("Implementación y enforcement GPAI",
"Asesoramiento y consistencia",
"Expertise sectorial",
"Evaluación científica",
"Supervisión mercado nacional",
"Certificación y conformidad"),
dependencia = c("Comisión Europea", "Comisión/Estados Miembros",
"Oficina de IA", "Oficina de IA",
"Estado Miembro", "Estado Miembro")
)
ggplot(governance_levels, aes(x = nivel, y = organismo, fill = nivel)) +
geom_tile(color = "white", linewidth = 1) +
geom_text(aes(label = funcion), size = 2.8, color = "white",
lineheight = 0.9) +
scale_fill_manual(values = c("#2c3e50", "#3498db")) +
labs(
title = "Estructura de gobernanza del AI Act",
subtitle = "Organismos y funciones a nivel UE y nacional",
x = NULL,
y = NULL,
caption = "Fuente: Novelli et al. (2024), European Journal of Risk Regulation"
) +
theme_minimal(base_size = 11) +
theme(
plot.title = element_text(face = "bold"),
legend.position = "none",
axis.text.x = element_text(face = "bold", size = 12)
)12.2.2 Clasificación por riesgos
El AI Act adopta un enfoque de regulación proporcional al riesgo, estableciendo cuatro niveles con requisitos diferenciados que van desde la prohibición absoluta hasta la ausencia de obligaciones específicas. Esta taxonomía responde al principio de que no todos los sistemas de IA plantean los mismos riesgos para los derechos fundamentales, la seguridad o el bienestar social.
En el nivel superior se sitúan las prácticas consideradas de riesgo inaceptable, categóricamente prohibidas por su incompatibilidad con los valores europeos: sistemas de puntuación social como los implementados en algunas ciudades chinas, vigilancia biométrica masiva en espacios públicos (con excepciones tasadas para seguridad nacional), y técnicas de manipulación subliminal que explotan vulnerabilidades psicológicas.
Los sistemas de alto riesgo —aquellos desplegados en infraestructuras críticas, educación, empleo, justicia o identificación biométrica— deben cumplir requisitos estrictos de gestión de riesgos, documentación técnica, supervisión humana y registro en bases de datos europeas antes de su comercialización.
Los sistemas de riesgo limitado, como chatbots y generadores de deepfakes, están sujetos principalmente a obligaciones de transparencia que permitan a los usuarios saber que interactúan con una IA o contenido sintético. Finalmente, la mayoría de aplicaciones —filtros de spam, videojuegos, herramientas de productividad— se clasifican como de riesgo mínimo y quedan exentas de regulación específica.
Código
risk_levels <- tibble(
`Nivel de riesgo` = c("Inaceptable", "Alto", "Limitado", "Mínimo"),
`Tratamiento` = c("PROHIBIDO", "Requisitos estrictos",
"Transparencia", "Sin obligaciones específicas"),
`Ejemplos` = c(
"Puntuación social, vigilancia masiva, manipulación subliminal",
"Infraestructura crítica, educación, empleo, justicia, biometría",
"Chatbots, deepfakes, sistemas de recomendación",
"Videojuegos, filtros de spam, aplicaciones de productividad"
),
`Entrada en vigor` = c("Febrero 2025", "Agosto 2026-2027",
"Agosto 2025", "N/A")
)
tabla_bonita(risk_levels)| Nivel de riesgo | Tratamiento | Ejemplos | Entrada en vigor |
|---|---|---|---|
| Inaceptable | PROHIBIDO | Puntuación social, vigilancia masiva, manipulación subliminal | Febrero 2025 |
| Alto | Requisitos estrictos | Infraestructura crítica, educación, empleo, justicia, biometría | Agosto 2026-2027 |
| Limitado | Transparencia | Chatbots, deepfakes, sistemas de recomendación | Agosto 2025 |
| Mínimo | Sin obligaciones específicas | Videojuegos, filtros de spam, aplicaciones de productividad | N/A |
12.2.3 Obligaciones para modelos de propósito general (GPAI)
Una de las innovaciones más significativas del AI Act es la regulación específica de los modelos de propósito general (GPAI, por sus siglas en inglés), que incluyen los grandes modelos de lenguaje como GPT-4, Claude o Gemini. La Comisión Europea tiene autoridad decisiva para clasificar estos modelos como asociados a “riesgo sistémico” según el Artículo 51, estableciendo un enfoque regulatorio de dos niveles (Novelli et al., 2025).
El criterio orientativo para esta clasificación es el umbral de \(10^{25}\) operaciones de punto flotante (FLOPs) en el entrenamiento, aunque la Comisión puede designar modelos con menor cómputo si evidencian “capacidades de alto impacto”. Esta distinción es crucial: solo los GPAI con riesgo sistémico están sujetos a las obligaciones más exigentes de evaluación de modelos, red teaming adversarial, reporte de incidentes graves y medidas de ciberseguridad reforzadas.
No obstante, Novelli y otros advierten que el umbral de FLOPs está quedando rápidamente obsoleto debido al desarrollo de modelos más eficientes que logran capacidades comparables con menor cómputo —la llamada “era de los LLMs de 1 bit”—, lo que plantea desafíos para mantener la relevancia del marco regulatorio (Novelli et al., 2025). Los proveedores cuyos modelos sean clasificados como de riesgo sistémico pueden impugnar la decisión ante la Comisión, un mecanismo que previsiblemente generará litigios similares a los observados bajo el DSA con empresas como Amazon o Zalando disputando su categorización como plataformas de gran tamaño.
Código
gpai_requirements <- tibble(
`Tipo de GPAI` = c("Todos los GPAI", "Todos los GPAI", "Todos los GPAI",
"GPAI con riesgo sistémico", "GPAI con riesgo sistémico"),
`Obligación` = c(
"Documentar procesos de entrenamiento",
"Cumplir directiva de derechos de autor",
"Publicar resúmenes de contenido de entrenamiento",
"Evaluaciones de modelo y red teaming",
"Reporte de incidentes graves"
),
`Criterio riesgo sistémico` = c(
"N/A", "N/A", "N/A",
">10^25 FLOPs entrenamiento o capacidades de alto impacto",
">10^25 FLOPs entrenamiento o capacidades de alto impacto"
),
`Fecha efectiva` = c(rep("Agosto 2025", 5))
)
tabla_bonita(gpai_requirements)| Tipo de GPAI | Obligación | Criterio riesgo sistémico | Fecha efectiva |
|---|---|---|---|
| Todos los GPAI | Documentar procesos de entrenamiento | N/A | Agosto 2025 |
| Todos los GPAI | Cumplir directiva de derechos de autor | N/A | Agosto 2025 |
| Todos los GPAI | Publicar resúmenes de contenido de entrenamiento | N/A | Agosto 2025 |
| GPAI con riesgo sistémico | Evaluaciones de modelo y red teaming | >10^25 FLOPs entrenamiento o capacidades de alto impacto | Agosto 2025 |
| GPAI con riesgo sistémico | Reporte de incidentes graves | >10^25 FLOPs entrenamiento o capacidades de alto impacto | Agosto 2025 |
12.2.4 Calendario de implementación
El AI Act contempla una implementación escalonada que reconoce la complejidad de adaptar ecosistemas tecnológicos y administrativos a los nuevos requisitos. Este despliegue progresivo, que se extiende desde agosto de 2024 hasta agosto de 2027, sigue una lógica de priorización: las prácticas más peligrosas se prohíben primero, mientras que las obligaciones más complejas —que requieren desarrollo de infraestructura de cumplimiento— entran en vigor posteriormente.
Un aspecto controvertido del calendario es el tratamiento favorable a los sistemas ya comercializados: los GPAI existentes disponen de 24 meses de gracia, y los sistemas de alto riesgo que ya estén en el mercado quedan completamente exentos hasta que se realicen modificaciones sustanciales en su diseño. Pero, como señalan Novelli y otros, esta exención general está “en profunda tensión con los principios del derecho de seguridad de productos” y favorece a los incumbentes frente a los nuevos entrantes, lo cual resulta cuestionable desde una perspectiva de competencia (Novelli et al., 2025). El siguiente gráfico muestra los hitos principales de este calendario.
Código
timeline_data <- tibble(
fecha = as.Date(c("2024-08-01", "2025-02-02", "2025-08-02",
"2026-08-02", "2027-08-02")),
hito = c("Entrada en vigor", "Prácticas prohibidas",
"Obligaciones GPAI", "Aplicación plena general",
"Sistemas alto riesgo en productos regulados"),
importancia = c(3, 5, 4, 5, 4)
)
ggplot(timeline_data, aes(x = fecha, y = 1)) +
geom_segment(aes(xend = fecha, y = 0.8, yend = 1.2),
color = "#3498db", linewidth = 2) +
geom_point(aes(size = importancia), color = "#e74c3c") +
geom_text(aes(label = hito, y = 1.3), angle = 45, hjust = 0, size = 3) +
geom_text(aes(label = format(fecha, "%b %Y"), y = 0.7), size = 2.5) +
scale_size_continuous(range = c(3, 8), guide = "none") +
coord_cartesian(ylim = c(0.5, 2)) +
labs(
title = "Calendario de implementación del AI Act",
subtitle = "Hitos principales desde agosto 2024 hasta agosto 2027",
x = NULL,
y = NULL,
caption = "Fuente: Reglamento (UE) 2024/1689"
) +
theme_minimal(base_size = 12) +
theme(
plot.title = element_text(face = "bold"),
axis.text.y = element_blank(),
axis.ticks.y = element_blank(),
panel.grid.major.y = element_blank(),
panel.grid.minor = element_blank()
)12.3 Marco de gestión de riesgos NIST
En contraste con el enfoque prescriptivo europeo, Estados Unidos ha optado por un modelo regulatorio más descentralizado, basado en principios voluntarios y supervisión sectorial. El NIST AI Risk Management Framework (AI RMF 1.0), publicado en enero de 2023, constituye la pieza central de este enfoque: un marco de gestión de riesgos de adopción voluntaria diseñado para ayudar a las organizaciones a incorporar consideraciones de fiabilidad y seguridad en todo el ciclo de vida de los sistemas de IA (National Institute of Standards and Technology, 2023).
El desarrollo del AI RMF fue mandatado por la National AI Initiative Act de 2020 y las recomendaciones de la National Security Commission on Artificial Intelligence, y contó con amplia participación del sector privado y público a través de consultas formales, talleres y comentarios públicos. Este marco regulatorio se estructura en dos partes: la primera analiza cómo las organizaciones pueden conceptualizar los riesgos de la IA y define las características de los sistemas de IA confiables —válidos y fiables, seguros, resilientes, responsables, transparentes, explicables, con privacidad mejorada y justos o equitativos gestionando sus sesgos perjudiciales—; la segunda presenta el “Núcleo” (Core) de requerimientos y garantías con cuatro funciones interrelacionadas (GOVERN, MAP, MEASURE, MANAGE) que organizan las actividades de gestión de riesgos.
Código
nist_functions <- tibble(
`Función` = c("GOVERN", "MAP", "MEASURE", "MANAGE"),
`Alcance` = c("Todas las etapas del ciclo de vida",
"Contexto específico del sistema",
"Contexto específico del sistema",
"Contexto específico del sistema"),
`Objetivo` = c(
"Establecer cultura, políticas y procesos de gobernanza de riesgos IA",
"Identificar y documentar riesgos en el contexto de uso",
"Cuantificar y evaluar riesgos identificados",
"Priorizar y actuar sobre riesgos según tolerancia"
),
`Características clave` = c(
"Responsabilidad, transparencia, supervisión humana",
"Catalogación de impactos potenciales y partes afectadas",
"Métricas, benchmarks, pruebas continuas",
"Respuesta a incidentes, mitigación, comunicación"
)
)
tabla_bonita(nist_functions)| Función | Alcance | Objetivo | Características clave |
|---|---|---|---|
| GOVERN | Todas las etapas del ciclo de vida | Establecer cultura, políticas y procesos de gobernanza de riesgos IA | Responsabilidad, transparencia, supervisión humana |
| MAP | Contexto específico del sistema | Identificar y documentar riesgos en el contexto de uso | Catalogación de impactos potenciales y partes afectadas |
| MEASURE | Contexto específico del sistema | Cuantificar y evaluar riesgos identificados | Métricas, benchmarks, pruebas continuas |
| MANAGE | Contexto específico del sistema | Priorizar y actuar sobre riesgos según tolerancia | Respuesta a incidentes, mitigación, comunicación |
A diferencia del AI Act europeo, el AI RMF no impone obligaciones legales ni sanciones, pero su adopción ha sido incentivada por la Orden Ejecutiva 14110 de octubre de 2023 y es crecientemente considerada como estándar de due diligence en el mercado estadounidense.
12.4 Comparación de enfoques regulatorios
El panorama regulatorio global de la IA se caracteriza por una marcada heterogeneidad de enfoques que refleja diferencias en tradiciones jurídicas, prioridades políticas y estrategias de competitividad tecnológica.
Mientras la Unión Europea ha apostado por un marco horizontal, prescriptivo y basado en riesgos con sanciones significativas, Estados Unidos mantiene un enfoque fragmentado entre agencias federales —cada una con jurisdicción sectorial— complementado por una creciente actividad legislativa a nivel estatal, particularmente en California y Colorado.
El Reino Unido, tras el Brexit, ha optado por una estrategia declaradamente “pro-innovación” centrada en sandboxes regulatorios que permiten experimentación controlada, aunque aún carece de legislación vinculante específica para IA.
China, por su parte, ha implementado regulaciones específicas por tipo de tecnología (algoritmos de recomendación, síntesis de medios, IA generativa) que combinan el control de contenido con políticas industriales de fomento del sector, priorizando la estabilidad social y la soberanía sobre los datos.
Como anticipan Novelli y otros, la coordinación internacional entre estos marcos dispares —especialmente entre la UE y las futuras estructuras de gobernanza estadounidenses— representará uno de los principales desafíos de los próximos años, dado el dominio del mercado de IA por empresas estadounidenses que operan globalmente (Novelli et al., 2025). La siguiente tabla sintetiza las principales diferencias entre jurisdicciones.
Código
regulatory_comp <- tibble(
`Jurisdicción` = c("Unión Europea", "Estados Unidos", "Reino Unido",
"China"),
`Enfoque` = c(
"Prescriptivo, basado en riesgos, horizontal",
"Sectorial, principios + autorregulación",
"Pro-innovación, sandbox regulatorio",
"Control de contenido + desarrollo industrial"
),
`Legislación principal` = c(
"AI Act (Reg. 2024/1689)",
"EO 14110 + leyes estatales (CA, CO)",
"Framework en desarrollo",
"Medidas provisionales IA generativa (2023)"
),
`Sanciones máximas` = c(
"Hasta 7% facturación global o €35M",
"Variables por agencia federal",
"En definición",
"Administrativas y penales"
),
`Fecha efectiva` = c("2024-2027 (escalonado)", "Variable", "TBD", "2023-2024")
)
tabla_bonita(regulatory_comp)| Jurisdicción | Enfoque | Legislación principal | Sanciones máximas | Fecha efectiva |
|---|---|---|---|---|
| Unión Europea | Prescriptivo, basado en riesgos, horizontal | AI Act (Reg. 2024/1689) | Hasta 7% facturación global o €35M | 2024-2027 (escalonado) |
| Estados Unidos | Sectorial, principios + autorregulación | EO 14110 + leyes estatales (CA, CO) | Variables por agencia federal | Variable |
| Reino Unido | Pro-innovación, sandbox regulatorio | Framework en desarrollo | En definición | TBD |
| China | Control de contenido + desarrollo industrial | Medidas provisionales IA generativa (2023) | Administrativas y penales | 2023-2024 |
12.5 Tensiones y desafíos
12.5.1 Efecto Bruselas y convergencia global
Como señalan Novelli et al., “la gobernanza futura de IA probablemente involucrará un equilibrio dinámico entre proporcionar certidumbre legal para desarrolladores y responsables de plataformas de despliegue de IA mientras mantiene algunos términos y conceptos estratégicamente vagos para cubrir avances futuros de IA” (Novelli et al., 2025, p. 590).
Es posible que el AI Act establezca un estándar de facto global (similar al GDPR), dado que las empresas multinacionales preferirán un marco único de cumplimiento. Sin embargo, la heterogeneidad de enfoques —EE.UU. más permisivo, China con distintas prioridades de control— limita esta convergencia.
12.5.2 Capacidad de enforcement
La complejidad técnica de los sistemas de IA dificulta la supervisión efectiva. Como advierten Novelli et al.: “Las autoridades regulatorias necesitarán desarrollar capacidades técnicas significativas” para implementar el AI Act efectivamente (Novelli et al., 2025, pp. 576-578).
El AI Act intenta equilibrar innovación y protección. Este criterio es la clave para interpretar el análisis de Novelli y otros: “La estructura multinivel discutida, desde principios en el AIA hasta reglas en actos delegados e implementadores, estándares técnicos y guía extensiva, puede combinar puertos seguros con terminología de textura abierta” (Novelli et al., 2025, p. 590).
12.5.3 Los límites de la regulación técnica
Sin embargo, autores como Mark Coeckelbergh señalan que los marcos regulatorios centrados en transparencia, explicabilidad y gestión de riesgos pueden resultar necesarios pero insuficientes si no abordan cuestiones más fundamentales de poder y participación democrática (Coeckelbergh, 2024).
El AI Act europeo, por ejemplo, establece obligaciones de documentación y evaluación, pero no cuestiona la concentración de capacidades de desarrollo en un puñado de corporaciones tecnológicas. Exige transparencia sobre los sistemas, pero no garantiza que los ciudadanos afectados tengan voz en las decisiones sobre su despliegue. Regula usos de alto riesgo, pero no aborda la redistribución de beneficios y cargas de la automatización.
Coeckelbergh propone que la gobernanza de la IA debe pensarse no solo como regulación técnica sino como problema de teoría política: ¿qué instituciones y procesos necesitamos para que las decisiones sobre tecnología sean genuinamente democráticas? Esta perspectiva sugiere que la regulación es condición necesaria pero no suficiente. Los marcos legales deben complementarse con mecanismos de participación ciudadana, deliberación pública informada y, posiblemente, nuevas formas institucionales que aún no hemos imaginado.
Esta tensión entre deliberación democrática y urgencia tecnológica es instrumentalizada por determinados actores del ecosistema como argumento para evadir la supervisión pública. Antonio Diéguez ha analizado cómo el discurso dominante en ciertos círculos de Silicon Valley articula una narrativa paradójica: invoca riesgos existenciales asociados a una hipotética superinteligencia desalineada para, simultáneamente, reclamar que se abandone cualquier intento de regulación externa y se deleguen las decisiones en quienes supuestamente “conocen a fondo la cuestión” (Diéguez, 2025).
Lo que parece una estrategia meramente retórica —oscilando entre la especulación catastrofista y el utopismo transhumanista— opera en realidad como mecanismo de captura regulatoria: los escenarios de ciencia ficción desplazan la atención de los daños verificables en el presente y legitiman la concentración del poder decisorio en manos privadas, precisamente en aquellas que tienen incentivos estructurales para externalizar costes sociales y privatizar beneficios, aprovechando sin pudor los canales privilegiados de acceso al gabinete presidencial y la inactivación de cualquier instancia regulatoria independiente.
Frente a esta narrativa, existe un creciente consenso entre investigadores en filosofía de la tecnología e inteligencia artificial —Luciano Floridi, Mark Coeckelbergh, Gary Marcus, Meredith Whittaker, entre otros— en que los riesgos más acuciantes no son los escenarios a largo plazo, sino los impactos concretos y actuales: discriminación algorítmica sistemática, erosión de la privacidad, concentración oligopólica del mercado y debilitamiento del tejido democrático. Como sintetiza Diéguez recogiendo las propuestas de Mustafa Suleyman y Gary Marcus, la tarea pendiente puede resumirse en un solo término: contención (Diéguez, 2025). No se trata de obstaculizar la innovación tecnológica, sino de establecer marcos institucionales que impidan que decisiones con profundas implicaciones colectivas queden sustraídas al escrutinio público y subordinadas exclusivamente a la lógica del beneficio corporativo.
La velocidad del desarrollo tecnológico exacerba esta tensión: mientras los procesos democráticos operan en escalas temporales de años o décadas, las capacidades de IA evolucionan en meses. Resolver esta asimetría temporal constituye probablemente el desafío de gobernanza más serio al que nos enfrentamos.
Otra paradoja que agrava el panorama: mientras la regulación exige transparencia a los sistemas de IA, los informes corporativos sobre calidad, robustez y alineamiento ético de los modelos con mayor base de usuarios permanecen en su mayor parte opacos. Los benchmarks de evaluación —determinantes para que ciudadanos, empresas y administraciones públicas elijan entre servicios— rara vez se publican de forma completa o verificable. La comunidad investigadora ha desarrollado docenas de marcos de evaluación de alucinaciones, como HaluEval, FActScore o FELM, que abarcan dominios desde biomedicina hasta finanzas (Huang et al., 2025; Lin et al., 2024). Sin embargo, las corporaciones que controlan los modelos más utilizados no están obligadas a aplicar ni divulgar resultados de estos bancos de pruebas independientes, y pueden seleccionar métricas favorables en sus comunicaciones públicas. Como señala el NIST AI RMF, la transparencia “presupone responsabilidad”, pero sin mecanismos vinculantes de divulgación, esta responsabilidad queda diluida (National Institute of Standards and Technology, 2023).
No obstante, la capacidad estatal para intervenir en mercados digitales ha quedado demostrada en contextos diversos. Algunos Estados han logrado restringir el acceso a redes sociales (Australia, por ejemplo, con una regulación específica dirigida a menores); bloquear servicios que violan las leyes de propiedad intelectual (cierre del portal web Megaupload por el Departamento de Estado y el FBI estadounidense, en enero de 2012, junto con todos los dominios asociados —Megaworld, Megavideo, Megapix, Megalive y Megaboxlos—); o eliminar contenido ilegal de Internet con relativa eficacia técnica y bloquear servicios de streaming alojados en infraestructuras globales como Cloudflare (Hawley, 2025).
Esta misma capacidad de enforcement digital podría aplicarse a proveedores de servicios de IA que no cumplan estándares mínimos de seguridad o transparencia. De hecho, el AI Act establece sanciones de hasta 35 millones de euros o el 7% de la facturación global (Novelli et al., 2025). El verdadero desafío no es técnico sino político: determinar qué umbrales de riesgo justifican la restricción de acceso y cómo coordinar estas medidas entre jurisdicciones con marcos regulatorios dispares. La eficacia de mecanismos como sandboxes regulatorios, cuerpos de notificación nacionales y paneles científicos independientes previstos en el AI Act dependerá de su dotación de recursos y de la voluntad política de aplicar las sanciones previstas.
La fragmentación regulatoria genera además un problema de arbitraje jurisdiccional: países con marcos débiles o inexistentes se convierten en refugios seguros para actores maliciosos. El cibercrimen potenciado por IA representa ya costes proyectados de 10,5 billones de dólares anuales para 2025, y el 90% de las organizaciones carecen de madurez para contrarrestar amenazas avanzadas (Khalil, 2025).
Herramientas como WormGPT o FraudGPT, disponibles en la dark web, democratizan capacidades de ataque sofisticadas. Un riesgo agravado plantean los actores estatales blindados para operar desde jurisdicciones que combinan infraestructura técnica con impunidad legal, utilizando IA para espionaje industrial, desinformación e interferencia electoral o desarrollo de armas autónomas. El caso del fraude con deepfakes contra la firma Arup —25,6 millones de dólares transferidos tras una videollamada con imágenes sintéticas del CFO— ilustra cómo estas capacidades ya están siendo explotadas a escala, con incidentes que en el primer trimestre de 2025 superaron el total de todo 2024 (Hazell, 2023; Khalil, 2025).
📚 Referencias del capítulo
- European Parliament and Council (2024) — Reglamento (UE) 2024/1689 de Inteligencia Artificial
- Novelli et al. (2025) — Gobernanza robusta del AI Act: Oficina de IA, Consejo, Panel Científico
- National Institute of Standards and Technology (2023) — NIST AI Risk Management Framework 1.0
- The White House (2023) — Executive Order sobre IA Segura y Confiable
PARTE IV: PERSPECTIVAS
13 Estudios de caso: Éxitos, fracasos y controversias
13.1 Introducción: El valor epistémico de los estudios de caso
La comprensión rigurosa de cualquier tecnología emergente exige un examen sistemático de su despliegue en contextos reales. Los estudios de caso constituyen una herramienta metodológica privilegiada porque permiten capturar la complejidad de las interacciones entre sistemas técnicos, actores humanos e instituciones —una complejidad que los análisis puramente teóricos o las evaluaciones de laboratorio difícilmente pueden aprehender. En el dominio de la IA generativa, donde las capacidades evolucionan con celeridad sin precedentes y los modos de uso proliferan antes de que exista comprensión consolidada de sus implicaciones, el análisis de casos emblemáticos adquiere una relevancia epistemológica singular.
Los casos seleccionados para esta sección representan hitos que han configurado tanto el imaginario público como el debate académico sobre la IA generativa. Algunos ilustran el potencial transformador de estas tecnologías: la resolución de problemas científicos que habían desafiado décadas de investigación, la democratización del acceso a capacidades cognitivas antes restringidas a élites profesionales, o la aceleración de procesos creativos y productivos. Otros revelan fracasos instructivos, vulnerabilidades sistémicas o controversias que exponen tensiones fundamentales entre la velocidad del desarrollo tecnológico y la capacidad de las instituciones para absorber, regular y gobernar dicho desarrollo.
La selección de casos responde a criterios múltiples: relevancia para debates epistémicos sobre la naturaleza de la inteligencia y el conocimiento; implicaciones educativas que afectan a la formación de nuevas generaciones; impactos laborales que reconfiguran mercados y profesiones; y desafíos de gobernanza que demandan nuevos marcos regulatorios y éticos. He procurado dar prioridad a casos con documentación robusta en literatura académica o fuentes verificables, evitando depender exclusivamente de reportes periodísticos o comunicados corporativos cuya fiabilidad puede ser limitada.
El análisis de cada caso sigue una estructura que facilita la comparación sistemática: contexto y antecedentes; descripción de la intervención o incidente; resultados documentados con métricas específicas cuando existen; y lecciones extraíbles para investigadores, profesionales, reguladores y ciudadanos. Esta aproximación permite trascender la mera crónica para identificar patrones transversales, mecanismos causales recurrentes y principios generalizables que pueden orientar tanto la investigación futura como la toma de decisiones en política tecnológica.
La diversidad de casos —desde éxitos científicos celebrados con el Premio Nobel hasta fraudes multimillonarios perpetrados mediante deepfakes, desde transformaciones de la práctica médica hasta amenazas a la integridad del sistema de revisión por pares— ilustra la amplitud del impacto de la IA generativa y la imposibilidad de reducir su evaluación a juicios binarios de beneficio o perjuicio. La realidad que muestran los casos es compleja, con una intersección de variables sociotécnicas, jurídicas y culturales incompatible con simplificaciones apresuradas.
13.2 Casos de éxito documentado
13.2.1 Caso 1: AlphaFold y la revolución en biología estructural
Contexto y problema histórico
La predicción de la estructura tridimensional de proteínas a partir de su secuencia de aminoácidos —el llamado “problema del plegamiento de proteínas”— constituyó durante más de 50 años uno de los grandes desafíos abiertos de la biología computacional. Las estructuras de apenas 100.000 proteínas únicas habían sido determinadas experimentalmente mediante cristalografía de rayos X, resonancia magnética nuclear o criomicroscopía electrónica —técnicas que requieren meses o años de trabajo por estructura y equipamiento valorado en millones de euros. Esta limitación representaba un cuello de botella crítico para el desarrollo de fármacos, la comprensión de enfermedades y el avance de la biología molecular (Jumper et al., 2021).
La intervención: AlphaFold 2
En noviembre de 2020, DeepMind presentó AlphaFold 2 en la competición CASP14 (Critical Assessment of protein Structure Prediction), el estándar de referencia para evaluar métodos de predicción estructural desde 1994. Los resultados fueron extraordinarios: AlphaFold 2 alcanzó una precisión mediana de 0.96 Å RMSD (desviación cuadrática media de las posiciones atómicas del esqueleto proteico), mientras que el siguiente mejor método obtuvo 2.8 Å. Para contextualizar: el ancho de un átomo de carbono es aproximadamente 1.4 Å, lo que significa que AlphaFold predecía estructuras con precisión subatómica (Jumper et al., 2021).
Código
casp_data <- tibble(
metodo = c("AlphaFold 2", "Segundo mejor", "Tercer mejor",
"Cuarto mejor", "Quinto mejor"),
rmsd = c(0.96, 2.8, 3.1, 3.4, 3.8),
tipo = c("DeepMind", "Competidores", "Competidores",
"Competidores", "Competidores")
)
ggplot(casp_data, aes(x = reorder(metodo, rmsd), y = rmsd, fill = tipo)) +
geom_col(width = 0.7) +
geom_hline(yintercept = 1.4, linetype = "dashed", color = "#e74c3c", linewidth = 0.8) +
annotate("text", x = 4.5, y = 1.7, label = "Ancho átomo de carbono (1.4 Å)",
size = 3, color = "#e74c3c") +
scale_fill_manual(values = c("DeepMind" = "#3498db", "Competidores" = "#95a5a6")) +
coord_flip() +
labs(
title = "Precisión en predicción de estructura proteica (CASP14)",
subtitle = "RMSD mediano del esqueleto (Cα) a 95% de cobertura de residuos",
x = NULL,
y = "RMSD (Ångströms) — menor es mejor",
fill = NULL
) +
theme_minimal(base_size = 12) +
theme(
plot.title = element_text(face = "bold"),
legend.position = "bottom"
)Impacto y reconocimiento
En julio de 2021, DeepMind liberó las estructuras predichas de prácticamente todo el proteoma humano (~20.000 proteínas) y posteriormente expandió la base de datos a más de 200 millones de estructuras. Este recurso, accesible gratuitamente, democratizó capacidades que antes requerían infraestructura experimental de alto coste.
El impacto fue reconocido con el Premio Nobel de Química 2024, otorgado a Demis Hassabis y John Jumper de DeepMind, junto con David Baker por su trabajo complementario en diseño de proteínas. Es la primera vez que un sistema de aprendizaje profundo contribuye directamente a un descubrimiento merecedor del Nobel.
Aplicaciones derivadas
Las aplicaciones de AlphaFold se extienden a múltiples dominios:
- Desarrollo de vacunas: Investigadores han utilizado predicciones de AlphaFold para diseñar antígenos optimizados contra la malaria, acelerando significativamente el ciclo completo (pipeline) de desarrollo (Desai et al., 2024).
- Diseño de fármacos: AlphaFold 3 (2024) amplía las capacidades para predecir interacciones proteína-ligando, esenciales para el diseño de moléculas terapéuticas.
- Biología del envejecimiento: Predicción de estructuras de proteínas asociadas a enfermedades neurodegenerativas.
Lecciones
- La IA puede resolver problemas científicos fundamentales que resistieron décadas de esfuerzo convencional
- La liberación pública de modelos y datos maximiza el impacto científico
- El reconocimiento institucional (Nobel) legitima la IA como herramienta científica de primera línea
- La democratización de capacidades antes exclusivas redistribuye el poder en la investigación
13.2.2 Caso 2: ChatGPT y el hito de la adopción masiva
Contexto: La emergencia de los chatbots conversacionales
Aunque los modelos de lenguaje de gran escala existían desde GPT-3 (2020), su uso permanecía confinado a desarrolladores y especialistas que accedían mediante APIs. El lanzamiento público de ChatGPT el 30 de noviembre de 2022 transformó radicalmente esta situación, ofreciendo una interfaz conversacional accesible a cualquier usuario.
Métricas de adopción sin precedentes
ChatGPT alcanzó 100 millones de usuarios activos mensuales en apenas dos meses, estableciendo el récord como la aplicación de consumo con crecimiento más rápido en la historia de Internet. Para contextualizar: TikTok requirió 9 meses e Instagram 2.5 años para alcanzar la misma cifra (Bin-Nashwan et al., 2023).
Código
adoption_data <- tibble(
plataforma = c("ChatGPT", "TikTok", "Instagram", "Spotify",
"Dropbox", "Facebook"),
meses = c(2, 9, 30, 55, 58, 54),
categoria = c("IA generativa", "Red social", "Red social",
"Streaming", "Productividad", "Red social")
)
ggplot(adoption_data, aes(x = reorder(plataforma, -meses), y = meses, fill = categoria)) +
geom_col(width = 0.7) +
geom_text(aes(label = paste0(meses, " m")), hjust = -0.2, size = 3.5) +
scale_fill_manual(values = c("IA generativa" = "#e74c3c", "Red social" = "#3498db",
"Streaming" = "#2ecc71", "Productividad" = "#e67e22")) +
coord_flip() +
scale_y_continuous(expand = expansion(mult = c(0, 0.1))) +
labs(
title = "Tiempo para alcanzar 100 millones de usuarios",
subtitle = "ChatGPT estableció un récord histórico de adopción",
x = NULL,
y = "Meses desde lanzamiento",
fill = "Categoría"
) +
theme_minimal(base_size = 12) +
theme(
plot.title = element_text(face = "bold"),
legend.position = "bottom"
)Impacto en múltiples sectores
La adopción masiva desencadenó transformaciones en cadena:
- Educación: Universidades de todo el mundo revisaron políticas de integridad académica y diseño de evaluaciones
- Mercado laboral: Empresas incorporaron herramientas de IA generativa en flujos de trabajo
- Inversión tecnológica: Microsoft invirtió 10.000 millones de dólares adicionales en OpenAI; Google aceleró el desarrollo de Gemini
- Regulación: La UE incorporó disposiciones específicas sobre IA generativa en el AI Act
Lecciones
- La interfaz de usuario determina la adopción: capacidades similares existían antes, pero no eran accesibles
- La velocidad de difusión supera la capacidad de adaptación institucional
- El primer producto en el mercado captura percepción pública aunque no sea técnicamente superior
- La adopción masiva no equivale a comprensión de limitaciones
13.2.3 Caso 3: IA en detección de cáncer de mama
Contexto clínico
El cribado mamográfico salva vidas mediante detección temprana, pero presenta limitaciones significativas: tasas de falsos positivos del 10-15% (que generan ansiedad y biopsias innecesarias) y falsos negativos del 10-30% (cánceres no detectados que progresan). La interpretación de mamografías es cognitivamente demandante y sujeta a variabilidad inter-observador (Topol, 2019).
Intervenciones documentadas
Múltiples estudios han evaluado sistemas de IA para asistencia en mamografía:
- Estudio TOMMY (Reino Unido, 2023): Sistema de IA como “segundo lector” redujo falsos positivos en 9% y falsos negativos en 5%, manteniendo sensibilidad diagnóstica
- Estudio Karolinska (Suecia, 2023): IA redujo carga de trabajo de radiólogos en 44% sin comprometer detección
- FDA (Estados Unidos): 15+ sistemas de IA aprobados para interpretación de mamografía desde 2018
Resultados cuantitativos
Código
mamografia_data <- tibble(
Estudio = c("TOMMY (UK)", "Karolinska (SE)", "Google Health", "Lunit INSIGHT"),
Año = c(2023, 2023, 2020, 2022),
`Reducción falsos positivos` = c("9.0%", "5.7%", "5.7%", "8.2%"),
`Reducción falsos negativos` = c("5.0%", "4.1%", "9.4%", "6.3%"),
`Reducción carga trabajo` = c("—", "44%", "—", "—")
)
tabla_bonita(mamografia_data)| Estudio | Año | Reducción falsos positivos | Reducción falsos negativos | Reducción carga trabajo |
|---|---|---|---|---|
| TOMMY (UK) | 2023 | 9.0% | 5.0% | — |
| Karolinska (SE) | 2023 | 5.7% | 4.1% | 44% |
| Google Health | 2020 | 5.7% | 9.4% | — |
| Lunit INSIGHT | 2022 | 8.2% | 6.3% | — |
Lecciones
- La IA como complemento (no sustituto) del criterio profesional maximiza beneficios.
- La validación prospectiva en poblaciones reales es esencial antes del despliegue.
- Los beneficios varían según contexto clínico y población.
- La aceptación profesional requiere transparencia sobre las limitaciones del modelo.
13.3 Casos de fracaso o controversia
13.3.1 Caso 4: El chatbot Tay de Microsoft (2016) — Lecciones vigentes
Contexto
El 23 de marzo de 2016, Microsoft lanzó Tay, un chatbot diseñado para interactuar en Twitter y “aprender” del lenguaje de usuarios jóvenes. El sistema utilizaba aprendizaje por refuerzo para adaptar sus respuestas según las interacciones recibidas.
El incidente
En menos de 16 horas, usuarios coordinados en foros como 4chan manipularon sistemáticamente a Tay mediante repetición de contenido racista, antisemita y misógino. El chatbot comenzó a generar tweets como “Hitler was right” y negaciones del Holocausto. Microsoft retiró Tay a las 24 horas del lanzamiento.
Relevancia contemporánea
Aunque ocurrió antes de la era de los LLMs, Tay anticipó vulnerabilidades que persisten:
- Manipulación adversarial: Sistemas que aprenden de inputs externos son vulnerables a ataques coordinados.
- Amplificación de sesgos: Sin salvaguardas, los modelos reproducen y amplifican contenido dañino.
- Velocidad de propagación: El daño reputacional y social puede ser irreversible en horas.
Los sistemas actuales incorporan filtros de contenido y RLHF (Reinforcement Learning from Human Feedback), pero otros incidentes recientes demuestran que las vulnerabilidades no han sido eliminadas, solo mitigadas (Casper, 2023).
Lecciones
- Los sistemas de aprendizaje abierto son inherentemente vulnerables a manipulación.
- La moderación de contenido debe ser proactiva, no reactiva.
- Las pruebas internas no anticipan comportamientos adversariales del mundo real.
- La velocidad de despliegue debe equilibrarse con robustez de salvaguardas.
13.3.2 Caso 5: Air Canada y la alucinación con consecuencias legales
Contexto
En 2022, Jake Moffatt contactó al chatbot de Air Canada para consultar sobre tarifas de duelo tras el fallecimiento de su abuela. El chatbot indicó que podía reservar un vuelo a tarifa completa y solicitar posteriormente un reembolso parcial dentro de los 90 días siguientes al viaje, aplicando la “tarifa de duelo” de la aerolínea.
El problema
La política real de Air Canada establecía que las tarifas de duelo debían solicitarse antes del viaje, no después. El chatbot había generado una política inexistente —una alucinación clásica de LLM presentada con aparente autoridad.
El precedente legal
Moffatt demandó a Air Canada por 812 CAD (la diferencia entre lo pagado y la tarifa de duelo). En febrero de 2024, el Civil Resolution Tribunal de Columbia Británica dictaminó que Air Canada era responsable de las declaraciones de su chatbot, rechazando el argumento de la aerolínea de que el chatbot era una “entidad legal separada” responsable de su propia precisión.
Según la sentencia, “Air Canada no explica por qué los clientes deberían verificar información proporcionada por su chatbot contra otra parte de su sitio web. Haber creado una herramienta con apariencia de utilidad hace negligente no asegurar su precisión” (Civil Resolution Tribunal of British Columbia, 2024, p. 6).
Implicaciones
Este caso establece un precedente jurídico significativo:
- Las empresas son legalmente responsables del contenido generado por sus sistemas de IA.
- La advertencia “verifique la información” no exime de responsabilidad.
- Los chatbots no son “entidades separadas” con responsabilidad propia.
Lecciones
- Las alucinaciones de LLMs pueden tener consecuencias legales vinculantes.
- La responsabilidad corporativa se extiende a outputs de sistemas automatizados.
- Los disclaimers genéricos no constituyen defensa legal suficiente.
- El diseño de sistemas customer-facing requiere salvaguardas específicas.
13.3.3 Caso 6: Fraude deepfake contra Arup — 25.6 millones de dólares
Contexto
Arup es una multinacional de ingeniería con más de 18.000 empleados y proyectos emblemáticos como el Sydney Opera House. En enero de 2024, su oficina de Hong Kong fue objetivo de un ataque de ingeniería social sofisticado.
La secuencia del ataque
- Un empleado de finanzas recibió un correo electrónico aparentemente del CFO de Arup UK, solicitando participación en una transacción confidencial.
- El empleado fue invitado a una videoconferencia para discutir los detalles.
- En la llamada, el empleado vio y escuchó al CFO y varios colegas —todos eran deepfakes generados por IA en tiempo real.
- Convencido por la “prueba” audiovisual, el empleado realizó 15 transferencias separadas por un total de 25,6 millones de dólares (Khalil, 2025).
Análisis técnico
El ataque combinó múltiples técnicas:
- Deepfake de video: Suplantación visual en tiempo real de múltiples ejecutivos.
- Clonación de voz: Replicación de patrones vocales y acentos específicos.
- Ingeniería social clásica: Presión temporal, apelación a autoridad, confidencialidad.
- Conocimiento interno: Los atacantes conocían nombres, roles y apariencias de ejecutivos.
Contraejemplos: WPP y Ferrari
Intentos similares contra WPP (mayor grupo publicitario mundial) y Ferrari fueron frustrados porque los ejecutivos objeto del ataque detectaron inconsistencias y solicitaron verificación fuera de banda. El CEO de WPP advirtió posteriormente: “Que la cuenta tenga mi foto no significa que sea yo”.
Código
deepfake_cases <- tibble(
Empresa = c("Arup", "WPP", "Ferrari"),
`Método de ataque` = c("Video + audio deepfake", "Video deepfake CEO", "Audio deepfake CEO"),
Resultado = c("Fraude consumado", "Intento frustrado", "Intento frustrado"),
`Pérdida económica` = c("$25.6 millones", "$0", "$0"),
`Factor de detección` = c("Ninguno", "Sospecha del objetivo", "Pregunta de verificación personal")
)
tabla_bonita(deepfake_cases)| Empresa | Método de ataque | Resultado | Pérdida económica | Factor de detección |
|---|---|---|---|---|
| Arup | Video + audio deepfake | Fraude consumado | $25.6 millones | Ninguno |
| WPP | Video deepfake CEO | Intento frustrado | $0 | Sospecha del objetivo |
| Ferrari | Audio deepfake CEO | Intento frustrado | $0 | Pregunta de verificación personal |
Lecciones
- Los deepfakes en tiempo real han superado la capacidad de detección humana.
- La verificación procedural (out-of-band) es más fiable que la detección técnica.
- Las organizaciones necesitan protocolos específicos para transacciones sensibles.
- La sofisticación de ataques escala más rápido que las defensas.
El caso Arup representa la transición del deepfake como curiosidad tecnológica a vector de ataque operacional en el cibercrimen financiero (Elliott, 2025). Más de 2000 incidentes documentados en Q3 2025 y casi 800 millones USD en pérdidas por fraude confirman la aceleración con respecto al año 2024:
“El tercer trimestre de 2025 registró un aumento sin precedentes en los incidentes de deepfake, con 2.031 casos verificados que representan una evolución significativa tanto en la escala como en la sofisticación de la manipulación de medios sintéticos. Los datos de este trimestre no solo muestran un crecimiento en volumen, sino un cambio fundamental en el ecosistema de los deepfakes hacia ataques industrializados y dirigidos a través de múltiples vectores.” (Trad. propia)
— Resemble AI (2025, p. 2)
13.3.4 Caso 7: Revisión por pares infiltrada por IA
Contexto: La crisis silenciosa
El sistema de revisión por pares (peer review) constituye el principal mecanismo de control de calidad en la producción científica. La gran mayoría de investigadores con experiencia dedica tiempo considerable y no remunerado a evaluar manuscritos de colegas, contribuyendo así a garantizar el rigor metodológico y la solidez de las conclusiones publicadas. No obstante, este modelo enfrenta presiones crecientes derivadas, entre otros factores, del aumento sostenido del volumen de publicaciones y de la limitada disponibilidad de revisores cualificados. Estas tensiones se traducen en demoras significativas en los tiempos de evaluación, con efectos perjudiciales para investigadores que operan bajo plazos estrictos vinculados a convocatorias competitivas de financiación o al cumplimiento de objetivos académicos.
Evidencia de infiltración
Dos estudios de 2024-2025 documentaron el uso de IA generativa en revisiones por pares:
Estudio de Liang y otros (2024): Analizando más de 146.000 revisiones de conferencias de IA (ICLR, NeurIPS, EMNLP, CoRL) y revistas del grupo Nature, los investigadores estimaron que entre el 6,5% y 16,9% del texto en revisiones post-ChatGPT fue sustancialmente modificado o generado por LLMs (Liang et al., 2024). El método empleó análisis de frecuencia de adjetivos característicos de texto generado por IA.
Código
# Datos aproximados del estudio
peerreview_data <- tibble(
año = rep(c(2020, 2021, 2022, 2023, 2024), times = 2),
conferencia = rep(c("ICLR", "NeurIPS"), each = 5),
frecuencia_adj = c(
# ICLR
15, 16, 18, 35, 45,
# NeurIPS
14, 15, 17, 32, 40
)
)
ggplot(peerreview_data, aes(x = año, y = frecuencia_adj, color = conferencia)) +
geom_line(linewidth = 1.2) +
geom_point(size = 3) +
geom_vline(xintercept = 2022.9, linetype = "dashed", color = "#e74c3c") +
annotate("text", x = 2022.5, y = 50, label = "Lanzamiento\nChatGPT",
size = 3, color = "#e74c3c", hjust = 1) +
scale_color_manual(values = c("ICLR" = "#3498db", "NeurIPS" = "#2ecc71")) +
labs(
title = "Frecuencia de adjetivos asociados a texto generado por IA",
subtitle = "En revisiones por pares de conferencias de machine learning",
x = "Año",
y = "Frecuencia relativa (×10⁻⁵)",
color = "Conferencia"
) +
theme_minimal(base_size = 12) +
theme(
plot.title = element_text(face = "bold"),
legend.position = "bottom"
)Estudio de Zhu y otros (2025): Evaluaron experimentalmente la capacidad de LLMs para generar revisiones maliciosas. Hallazgos clave:
- El 82,8% de las revisiones generadas por LLM fueron clasificadas como “escritas por humanos” por detectores de IA (GPTZero).
- Los LLMs demostraron alta capacidad para generar comentarios de rechazo convincentes.
- Los modelos podían crear solicitudes plausibles de citas, incluyendo peticiones de referencias no relacionadas (Zhu et al., 2025).
Implicaciones epistémicas
La infiltración de IA en los procesos de revisión experta y peer review puede comprometer o deteriorar la calidad del resultado en aspectos clave:
- Control de calidad: Revisiones superficiales que no detectan errores metodológicos.
- Desarrollo profesional: Revisores que aprenden evaluando el trabajo de otros e imitan sus errores o prácticas cuestionables.
- Confianza institucional: Pérdida de confianza en un sistema que depende de participación genuina, declarando si existe conflicto de intereses y garantizando la autenticidad.
- Sesgo sistemático: Al utilizar ciertas herramientas de IA, los revisores pueden introducir o amplificar sesgos de los modelos.
Lecciones
- La integridad del sistema científico está bajo amenaza silenciosa pero constatable.
- Los detectores de IA son insuficientes para contextos de alto riesgo.
- Se requieren mecanismos de verificación alternativos (declaraciones, auditorías).
- La escasez de revisores incentiva atajos que comprometen calidad.
No parece sostenible un sistema que pivota sobre la dedicación altruista —o apenas remunerada, en el mejor de los casos— cuando el escenario tecnológico introduce demandas adicionales que complican extraordinariamente el proceso de revisión, autenticación y validación de resultados. Si el entramado institucional que sustenta la investigación científica no logra adaptarse para equilibrar mejor las exigencias y carga de trabajo de sus actores cualificados esenciales, deja de garantizar calidad, equidad y confianza.
13.3.5 Caso 8: Integridad académica en la era ChatGPT
Contexto: Transformación del fraude académico
El lanzamiento de ChatGPT coincidió con el inicio del semestre de primavera 2023 en universidades del hemisferio norte, generando una crisis inmediata en la gestión de integridad académica. A diferencia del plagio tradicional —copia de fuentes existentes— la generación de texto original por IA presenta desafíos cualitativamente distintos.
Evidencia empírica
Múltiples estudios han documentado el fenómeno:
Cotton et al. (2024) (Cotton et al., 2024): En un experimento, los autores generaron ensayos completos usando ChatGPT con prompts simples. Hallazgos:
- Turnitin (detector de plagio tradicional) no identificó el contenido como problemático.
- GPT-2 Output Detector identificó correctamente el 97-100% de textos generados.
- Múltiples estudiantes usando prompts similares generarían textos casi idénticos.
Bin-Nashwan et al. (2023) (Bin-Nashwan et al., 2023): Encuesta a 702 académicos en ResearchGate y Academia.edu:
- El uso de ChatGPT correlacionó positivamente con presión percibida y autoeficacia académica.
- La integridad académica mostró efecto negativo sobre el uso.
- Paradójicamente, la interacción integridad × presión mostró efecto positivo, sugiriendo que la presión puede superar barreras éticas.
Lund et al. (2025) (Lund et al., 2025): Encuesta a 277 estudiantes universitarios estadounidenses:
- Mayoría considera “infracción grave” usar IA para escribir trabajos completos.
- Tareas asistidas parcialmente (edición, ideas) se perciben como menos problemáticas.
- Estudiantes que consideran el uso de IA como “trampa” perciben infracciones más seriamente.
Código
integrity_data <- tibble(
uso = c("Escribir trabajo completo", "Escribir párrafos",
"Parafrasear contenido", "Generar ideas", "Corregir gramática"),
pct_grave = c(78, 52, 35, 18, 8),
pct_moderado = c(15, 30, 38, 35, 22),
pct_leve = c(7, 18, 27, 47, 70)
)
integrity_long <- integrity_data %>%
pivot_longer(cols = starts_with("pct"),
names_to = "severidad",
values_to = "porcentaje") %>%
mutate(severidad = factor(severidad,
levels = c("pct_grave", "pct_moderado", "pct_leve"),
labels = c("Infracción grave", "Moderada", "Leve/Ninguna")))
ggplot(integrity_long, aes(x = reorder(uso, -porcentaje), y = porcentaje, fill = severidad)) +
geom_col(position = "stack", width = 0.7) +
scale_fill_manual(values = c("Infracción grave" = "#e74c3c",
"Moderada" = "#e67e22",
"Leve/Ninguna" = "#2ecc71")) +
coord_flip() +
labs(
title = "Percepción estudiantil de severidad del uso de IA",
subtitle = "Encuesta a estudiantes universitarios estadounidenses (n=277)",
x = NULL,
y = "Porcentaje de estudiantes",
fill = "Percepción"
) +
theme_minimal(base_size = 12) +
theme(
plot.title = element_text(face = "bold"),
legend.position = "bottom"
)Respuestas institucionales
Las universidades han adoptado estrategias diversas:
- Prohibición total: Algunas instituciones (Sciences Po, inicialmente) prohibieron todo uso.
- Integración crítica: Otras desarrollan competencias de uso ético (MIT, Stanford).
- Rediseño de evaluaciones: Énfasis en presentaciones orales, trabajos en clase, portfolios.
- Declaraciones de uso: Requerimiento de declarar herramientas de IA utilizadas.
Lecciones
- Los detectores de IA no son lo bastante fiables para adoptar decisiones disciplinarias.
- El rediseño de evaluaciones es más efectivo que la detección.
- La educación sobre uso ético parece más eficaz que las estrategias prohibicionistas.
- Las políticas deben distinguir entre usos legítimos e ilegítimos.
13.4 Casos emergentes (2024-2025)
13.4.1 Caso 9: Asistentes de código y productividad — El caso Cursor
Contexto: La promesa de la programación aumentada
Los asistentes de código basados en LLM —GitHub Copilot, Cursor, Claude Code— prometen transformar el desarrollo de software. Las afirmaciones de productividad son extraordinarias: desarrolladores auto-reportan incrementos de “10x” en velocidad de desarrollo.
Evidencia empírica: Estudio de He et al. (2025)
Investigadores de Carnegie Mellon University realizaron el primer estudio causal riguroso sobre el impacto de Cursor en proyectos de software reales, utilizando un diseño de diferencias-en-diferencias con 807 repositorios de GitHub (He et al., 2025).
Hallazgos principales:
Código
cursor_data <- tibble(
Métrica = c("Commits (volumen)", "Líneas añadidas", "Warnings análisis estático",
"Densidad de duplicación", "Complejidad ciclomática"),
`Efecto post-adopción` = c("+3.4%", "+28.6%", "+29.6%***", "+8.2%***", "+40.7%***"),
Interpretación = c("Aumento modesto", "Aumento significativo",
"Deuda técnica aumentada", "Más código duplicado",
"Código más complejo")
)
tabla_bonita(cursor_data)| Métrica | Efecto post-adopción | Interpretación |
|---|---|---|
| Commits (volumen) | +3.4% | Aumento modesto |
| Líneas añadidas | +28.6% | Aumento significativo |
| Warnings análisis estático | +29.6%*** | Deuda técnica aumentada |
| Densidad de duplicación | +8.2%*** | Más código duplicado |
| Complejidad ciclomática | +40.7%*** | Código más complejo |
Dinámica temporal crítica: Los beneficios de velocidad fueron transitorios —concentrados en los primeros 1-2 meses post-adopción, disipándose posteriormente. En contraste, la degradación de calidad fue persistente.
Mecanismo causal propuesto: Los modelos GMM de panel revelaron que la acumulación de deuda técnica (warnings, complejidad) actúa como factor que reduce la velocidad futura de desarrollo, creando un ciclo auto-reforzante negativo.
La productividad aparente a corto plazo puede enmascarar degradación de calidad con costes a largo plazo. Los equipos que adoptan asistentes de código agénticos deben escalar proporcionalmente sus prácticas de aseguramiento de calidad.
Lecciones
- Los estudios observacionales revelan dinámicas que los experimentos controlados no capturan.
- La velocidad a corto plazo puede intercambiarse por calidad a largo plazo.
- Los modelos agénticos requieren supervisión diferente a los completadores de código.
- La brecha entre promesas de marketing y evidencia empírica permanece significativa.
13.4.2 Caso 10: Alucinaciones adversariales en medicina
Contexto: IA en notas clínicas
Los LLMs se utilizan crecientemente para procesar documentación clínica: resumir historiales, extraer información estructurada, generar informes. Estas aplicaciones presuponen que los modelos procesan fielmente la información de entrada.
El estudio: Omar et al. (2025)
Investigadores de Mount Sinai diseñaron un estudio adversarial para evaluar la vulnerabilidad de LLMs a información falsa embebida en prompts clínicos (Omar et al., 2025). Metodología:
- 300 casos clínicos diseñados por médicos.
- Cada caso contenía un único elemento fabricado (test inexistente, signo inventado, síndrome ficticio).
- 6 LLMs evaluados bajo 3 condiciones diferentes.
- 5.400 evaluaciones totales.
Resultados:
Código
halluc_data <- tibble(
modelo = rep(c("GPT-4o", "Claude 3.5", "Gemini 1.5", "Llama 3.1", "DeepSeek R1", "Mistral"), 3),
condicion = rep(c("Default", "Mitigación", "Temp. baja"), each = 6),
tasa = c(
# Default
50.0, 58.3, 62.7, 68.4, 82.7, 71.2,
# Mitigación
35.2, 42.1, 48.5, 52.3, 64.8, 55.6,
# Temp baja
51.2, 59.1, 63.4, 69.1, 83.2, 72.1
)
)
ggplot(halluc_data, aes(x = modelo, y = tasa, fill = condicion)) +
geom_col(position = position_dodge(width = 0.8), width = 0.7) +
geom_hline(yintercept = 50, linetype = "dashed", color = "#7f8c8d") +
scale_fill_manual(values = c("Default" = "#e74c3c", "Mitigación" = "#3498db",
"Temp. baja" = "#95a5a6")) +
labs(
title = "Tasas de alucinación adversarial en contextos clínicos",
subtitle = "Porcentaje de casos donde el LLM repitió/elaboró información fabricada",
x = "Modelo",
y = "Tasa de alucinación (%)",
fill = "Condición"
) +
theme_minimal(base_size = 11) +
theme(
plot.title = element_text(face = "bold"),
axis.text.x = element_text(angle = 45, hjust = 1),
legend.position = "bottom"
)Hallazgos clave:
- Tasas de alucinación entre 50% y 83% bajo configuración default.
- GPT-4o mostró mejor rendimiento pero no inmunidad.
- La ingeniería de prompts redujo tasas pero no las eliminó (hasta 44% con mitigación).
- La reducción de temperatura no tuvo efecto significativo.
Implicaciones clínicas
El estudio demuestra que los LLMs presentan “sesgo de confirmación” —tienden a elaborar sobre información proporcionada en lugar de verificarla. En contextos clínicos donde los errores de entrada son comunes (copy-forward, valores mal transcritos), esta vulnerabilidad puede propagar errores con consecuencias potencialmente graves.
Lecciones
- Los LLMs no son verificadores fiables de información clínica.
- La arquitectura actual favorece completar patrones sobre verificar hechos.
- Las aplicaciones médicas requieren salvaguardas adicionales no presentes en modelos de propósito general.
- El uso de IA en medicina debe mantener supervisión humana robusta.
13.4.3 Caso 11: Deepfakes y estabilidad nuclear
Contexto: Sistemas de alerta temprana
Los sistemas de alerta temprana nuclear están diseñados para detectar ataques de misiles balísticos y proporcionar minutos cruciales para la toma de decisiones. Históricamente, los falsos positivos casi desencadenaron catástrofes: en 1983, Stanislav Petrov desobedeció el protocolo vigente al desestimar una alerta que resultó ser error del sistema soviético.
El riesgo emergente: Dumbacher (2025)
Un análisis publicado en Foreign Affairs examina cómo la IA y los deepfakes introducen nuevos vectores de riesgo en la estabilidad nuclear (Dumbacher, 2025):
Escenarios de riesgo:
- Deepfake de declaración de ataque: Video o audio fabricado mostrando a un líder enemigo anunciando ataque inminente.
- Manipulación de fuentes de inteligencia: Deepfakes inyectados en redes sociales o medios que informan evaluaciones de inteligencia.
- Alucinación de sistemas de IA: Si se integra IA en interpretación de datos de alerta temprana, puede inventar patrones de ataque inexistentes (AI hallucination).
Factores agravantes:
- Tiempo de decisión: Un ICBM alcanza su objetivo en ~30 minutos; la verificación rigurosa es incompatible con la urgencia.
- Política de launch-on-warning: Tanto EEUU como Rusia mantienen capacidad de lanzar antes de que impacte un ataque enemigo.
- Sesgo de confianza en IA: Investigaciones muestran que operadores tienden a deferir a outputs de sistemas automatizados.
- Opacidad de sistemas de IA: El razonamiento de modelos es difícil de interpretar, impidiendo verificación rápida.
Recomendaciones del análisis:
- Excluir el soporte IA de sistemas de alerta temprana nuclear.
- Mantener canales de comunicación de crisis entre potencias nucleares.
- Entrenar personal en escepticismo hacia contenido potencialmente sintético.
- Desarrollar protocolos de verificación de información en crisis.
A diferencia de otros riesgos de IA, los escenarios nucleares presentan irreversibilidad absoluta. Un único incidente de desinformación interpretado erróneamente podría desencadenar escalada catastrófica.
Lecciones
- Algunas aplicaciones de IA deben permanecer off-limits por principio de precaución.
- La velocidad de procesamiento de IA es incompatible con verificación humana en contextos de alta presión temporal.
- Los sistemas críticos de seguridad nacional requieren redundancia humana no sustituible.
- La comunidad internacional necesita acuerdos sobre exclusión de IA en dominios específicos.
13.4.4 Caso 12: El hype de los agentes autónomos — Devin y SWE-bench
Contexto: La promesa de la programación autónoma
En marzo de 2024, Cognition Labs presentó Devin como “el primer ingeniero de software de IA del mundo”, capaz de planificar, ejecutar y depurar proyectos de software de principio a fin sin intervención humana. El anuncio generó cobertura mediática masiva y valoraciones de inversión de miles de millones de dólares.
La realidad empírica
Evaluaciones independientes en SWE-bench —un benchmark que mide la capacidad de resolver issues reales de GitHub— revelaron una imagen más matizada:
Código
swebench_data <- tibble(
sistema = c("Devin (marzo 2024)", "Devin (dic 2024)", "Claude Code",
"GPT-4 + scaffolding", "Claude 3.5 (baseline)", "Humano experto"),
tasa_resolucion = c(13.86, 18.2, 21.4, 15.3, 4.8, 77.0),
tipo = c("Agente comercial", "Agente comercial", "Agente comercial",
"LLM + herramientas", "LLM baseline", "Referencia")
)
ggplot(swebench_data, aes(x = reorder(sistema, tasa_resolucion),
y = tasa_resolucion, fill = tipo)) +
geom_col(width = 0.7) +
geom_text(aes(label = paste0(tasa_resolucion, "%")),
hjust = -0.2, size = 3.5) +
scale_fill_manual(values = c(
"Agente comercial" = "#3498db",
"LLM + herramientas" = "#e67e22",
"LLM baseline" = "#95a5a6",
"Referencia" = "#2ecc71"
)) +
coord_flip() +
scale_y_continuous(expand = expansion(mult = c(0, 0.1))) +
labs(
title = "Tasa de resolución en SWE-bench",
subtitle = "Porcentaje de issues de GitHub resueltos correctamente",
x = NULL,
y = "Tasa de resolución (%)",
fill = "Tipo de sistema"
) +
theme_minimal(base_size = 12) +
theme(
plot.title = element_text(face = "bold"),
legend.position = "bottom"
)Análisis de la brecha hype-realidad
| Aspecto | Narrativa de marketing | Realidad empírica |
|---|---|---|
| Capacidad | “Ingeniero de software autónomo” | Resuelve 14-21% de issues |
| Comparación | “Reemplaza desarrolladores” | Rendimiento ~4x inferior a humanos |
| Mejora | “Avance revolucionario” | Mejora incremental sobre baselines |
| Aplicación | “Producción empresarial” | Útil para tareas acotadas |
La economía del hype
El caso Devin ilustra dinámicas recurrentes en tecnologías emergentes:
- Demos selectivos: Las presentaciones muestran casos exitosos, no distribución completa de rendimiento.
- Métricas favorables: Se enfatizan métricas donde el sistema destaca.
- Financiación basada en narrativa: Los inversores a menudo financian promesas, antes que evidencia.
- Corrección tardía: La realidad emerge cuando los usuarios intentan utilizar las herramientas o servicios en contexto de producción.
Lecciones
- Los benchmarks independientes son esenciales para evaluar claims comerciales.
- La distancia entre demos impresionantes y utilidad práctica puede ser enorme.
- “Mejor que baseline” no equivale a “listo para producción”.
- La autonomía parcial útil no requiere autonomía completa.
13.5 Síntesis comparativa
Código
cases_full <- tibble(
`#` = 1:12,
Caso = c("AlphaFold", "ChatGPT adopción", "IA mamografía", "Chatbot Tay",
"Air Canada", "Fraude Arup", "Peer review IA", "Integridad académica",
"Cursor/código", "Alucinaciones médicas", "Deepfakes nucleares", "Devin/SWE-bench"),
Categoría = c("Éxito", "Éxito/Transformación", "Éxito parcial", "Fracaso histórico",
"Fracaso legal", "Amenaza consumada", "Amenaza epistémica", "Desafío institucional",
"Evidencia mixta", "Riesgo documentado", "Riesgo sistémico", "Hype vs realidad"),
`Sector principal` = c("Ciencia", "Tecnología/Sociedad", "Salud", "Tecnología",
"Consumidor/Legal", "Finanzas", "Academia", "Educación",
"Software", "Medicina", "Seguridad nacional", "Software"),
`Implicación clave` = c("IA resuelve problemas científicos fundamentales",
"Velocidad de adopción supera adaptación institucional",
"IA como complemento mejora rendimiento humano",
"Sistemas abiertos son manipulables coordinadamente",
"Empresas responsables de outputs de IA",
"Deepfakes superan detección humana en tiempo real",
"Integridad científica bajo amenaza silenciosa",
"Rediseño de evaluaciones supera detección",
"Productividad corto plazo vs calidad largo plazo",
"LLMs no verifican, completan patrones",
"Algunos dominios deben excluir IA por precaución",
"Brecha significativa entre marketing y capacidad real")
)
tabla_bonita(cases_full)| # | Caso | Categoría | Sector principal | Implicación clave |
|---|---|---|---|---|
| 1 | AlphaFold | Éxito | Ciencia | IA resuelve problemas científicos fundamentales |
| 2 | ChatGPT adopción | Éxito/Transformación | Tecnología/Sociedad | Velocidad de adopción supera adaptación institucional |
| 3 | IA mamografía | Éxito parcial | Salud | IA como complemento mejora rendimiento humano |
| 4 | Chatbot Tay | Fracaso histórico | Tecnología | Sistemas abiertos son manipulables coordinadamente |
| 5 | Air Canada | Fracaso legal | Consumidor/Legal | Empresas responsables de outputs de IA |
| 6 | Fraude Arup | Amenaza consumada | Finanzas | Deepfakes superan detección humana en tiempo real |
| 7 | Peer review IA | Amenaza epistémica | Academia | Integridad científica bajo amenaza silenciosa |
| 8 | Integridad académica | Desafío institucional | Educación | Rediseño de evaluaciones supera detección |
| 9 | Cursor/código | Evidencia mixta | Software | Productividad corto plazo vs calidad largo plazo |
| 10 | Alucinaciones médicas | Riesgo documentado | Medicina | LLMs no verifican, completan patrones |
| 11 | Deepfakes nucleares | Riesgo sistémico | Seguridad nacional | Algunos dominios deben excluir IA por precaución |
| 12 | Devin/SWE-bench | Hype vs realidad | Software | Brecha significativa entre marketing y capacidad real |
📚 Referencias del capítulo
- Jumper et al. (2021) — AlphaFold 2: predicción de estructura proteica
- Desai et al. (2024) — AlphaFold 3 y diseño de fármacos
- Bin-Nashwan et al. (2023) — Uso de ChatGPT en academia
- Cotton et al. (2024) — Integridad académica y ChatGPT
- Lund et al. (2025) — Percepciones estudiantiles sobre IA y plagio
- Liang et al. (2024) — Monitoreo de contenido modificado por IA en peer review
- Zhu et al. (2025) — Riesgos de LLMs en revisión por pares
- Khalil (2025) — Ciberseguridad e IA en 2025
- He et al. (2025) — Impacto de Cursor en proyectos de software
- Omar et al. (2025) — Alucinaciones adversariales en contextos clínicos
- Dumbacher (2025) — Deepfakes y sistemas de alerta nuclear
14 Escenarios prospectivos
14.1 Metodología y limitaciones
14.1.1 El desafío de la prospectiva tecnológica
Las proyecciones sobre tecnologías emergentes tienen un historial ambivalente. Las predicciones de expertos sobre IA han oscilado entre optimismo desmedido y escepticismo infundado —a menudo del mismo experto en momentos diferentes. Esta sección no pretende predecir el futuro sino delinear escenarios plausibles basados en:
- Tendencias técnicas documentadas: Leyes de escalado, curvas de mejora en benchmarks, patrones de adopción.
- Dinámicas institucionales: Velocidad regulatoria, adaptación educativa, respuestas del mercado laboral.
- Opiniones de expertos informados: Encuestas sistemáticas a especialistas en IA.
- Precedentes históricos: Ciclos previos de tecnologías transformadoras.
Los horizontes considerados son:
- Corto plazo (2026-2027): Alta confianza, extrapolación de tendencias actuales.
- Medio plazo (2028-2030): Confianza moderada, múltiples trayectorias posibles.
- Largo plazo (post-2030): Incertidumbre fundamental, escenarios divergentes.
La varianza extrema en estimaciones de expertos (rangos intercuartílicos de décadas) refleja incertidumbre genuina, no ignorancia. Las predicciones precisas son epistemológicamente inapropiadas dada la naturaleza del fenómeno.
Los ejercicios de prospectiva a menudo dependen de supuestos y definiciones articuladas sobre un trasfondo de gran complejidad, difícil de explicitar. Como ejemplo de dispersión conceptual significativa pueden aducirse las definiciones de resiliencia frente a ciberdelitos: algunas enfatizan la continuidad operativa, otras la capacidad adaptativa del sistema, y otras se centran en la absorción y reorganización tras una perturbación. Esta heterogeneidad no es un defecto, sino un reflejo de la naturaleza multidimensional del fenómeno, donde convergen factores técnicos, organizativos y ecológicos que no pueden reducirse a un único marco analítico. La resiliencia, en este contexto, opera más como una familia de conceptos que como una categoría unificada.
Grupos de expertos que proponen estimaciones no convergentes de horizontes temporales o niveles de riesgo a menudo lo hacen sobre marcos de referencia distintos, atendiendo a supuestos y métricas propios. La variabilidad a veces extrema en sus estimaciones no indica falta de competencia, sino la ausencia de un constructo estabilizado y operativo que permita predicciones precisas y comparables. En un dominio caracterizado por la complejidad, la adaptabilidad adversaria y la rápida evolución tecnológica, la incertidumbre no solo es inevitable: es constitutiva del objeto de estudio (World Economic Forum & University of Oxford, 2024, p. 14).
14.1.2 Encuestas de expertos como insumo: el caso de la AGI (singularidad)
Las encuestas sistemáticas a investigadores especializados en sistemas de IA y sus aplicaciones proporcionan una base empírica para calibrar probabilidades subjetivas. En los ejercicios de prospectiva, las encuestas no se presentan como conclusiones definitivas, sino como datos (insumo = input, materia prima o evidencia de base) que nutren un análisis posterior. Se asume que el personal experto entrevistado aporta estimaciones, no certezas. Y que sus respuestas se usan para informar modelos, escenarios o discusiones, no para cerrarlas. El foco está más en la utilidad analítica que en los resultados específicos de la encuesta, la cual funciona como una pieza dentro de un proceso más amplio (por ejemplo, construir un rango temporal para la aparición de sistemas con inteligencia artificial general). Lo relevante aquí es entender que el insumo (la/s encuesta/s) se combina con literatura, tendencias tecnológicas, análisis históricos, etc.
Sin embargo, conceptos frecuentemente invocados en estos ejercicios prospectivos —el de singularidad tecnológica, por ejemplo— adolecen de indefiniciones sustanciales que dificultan la interpretación del alcance real de las mejoras graduales observadas en sistemas como GPT-4, Claude o Gemini. Gran parte del análisis especulativo heredado de contribuciones del siglo XX estaba condicionado por las limitaciones tecnológicas de su época, lo que plantea cautelas metodológicas sobre la validez de extrapolaciones a largo plazo en campos emergentes de aplicaciones inéditas (Moreno Muñoz, 2024).
La incertidumbre no disuade de hacer apuestas. El progreso constatado en dominios tan diversos como la traducción automática, la programación multilenguaje, el diseño farmacológico o la generación de texto profesional sustenta expectativas de optimismo moderado acerca de mejoras compatibles con criterios de IA general (AGI) en horizontes más acotados:
- Expertos del AGI Clock (consenso de investigadores e industria): predicción agregada de junio de 2029 para la llegada de AGI.
- Dario Amodei (CEO de Anthropic): estima que la IA podría superar a los humanos en “casi todo” en 2–3 años, situando el escenario AGI alrededor de 2026–2027.
- Jeetu Patel (Cisco): había sugerido que la AGI podría aparecer en 2025.
- Encuestas de investigadores analizadas por AI Multiple: predicen AGI alrededor de 2040, revisando estimaciones previas (pre‑LLMs) alrededor de 2060.
- Revisión de 80,000 Hours: concluye que “AGI antes de 2030” está dentro del rango razonable de opinión experta, aunque con alta incertidumbre (AI News Today, 2025; Dilmegani & Ermut, 2025).
Esta tensión entre la incertidumbre inherente a las predicciones sobre superinteligencia y la evidencia empírica de avances sostenidos explica la elevada dispersión y baja confianza que reflejan las estimaciones agregadas de expertos, particularmente en los hitos más ambiciosos. Por no escamotear la apuesta, mi propio análisis en una contribución revisada publicada en febrero de 2024 situaba la aparición de desarrollos AGI indisputados entre 2028 y 2030 (Moreno Muñoz, 2024, p. 39).
Código
expert_data <- tibble(
Hito = c("IA supera humanos en todas las tareas económicas",
"Automatización 50% tareas cognitivas",
"AGI (definiciones variadas)",
"Regulación internacional coordinada"),
`Mediana expertos (años)` = c("2060-2100", "2035-2045", "2040-2060", "2028-2035"),
`Rango intercuartílico` = c("2045-2150", "2028-2060", "2030-2100", "2025-2045"),
`Confianza` = c("Muy baja", "Baja", "Muy baja", "Moderada")
)
tabla_bonita(expert_data)| Hito | Mediana expertos (años) | Rango intercuartílico | Confianza |
|---|---|---|---|
| IA supera humanos en todas las tareas económicas | 2060-2100 | 2045-2150 | Muy baja |
| Automatización 50% tareas cognitivas | 2035-2045 | 2028-2060 | Baja |
| AGI (definiciones variadas) | 2040-2060 | 2030-2100 | Muy baja |
| Regulación internacional coordinada | 2028-2035 | 2025-2045 | Moderada |
14.2 Escenario 1: Consolidación y maduración (escenario base)
14.2.1 Hipótesis central
La IA generativa se integra gradualmente en flujos de trabajo existentes, generando ganancias de productividad significativas pero no disruptivas catastróficamente. Las limitaciones técnicas persisten y se gestionan mediante protocolos institucionales.
14.2.2 Características
Dimensión técnica:
- Los incrementos de capacidad por escala encuentran rendimientos decrecientes.
- El foco se desplaza de modelos más grandes a modelos más eficientes y especializados.
- Las alucinaciones persisten pero se mitigan mediante RAG, verificación humana y dominios acotados.
- La multimodalidad se consolida pero no elimina limitaciones fundamentales.
Dimensión institucional:
- El AI Act europeo y regulaciones equivalentes establecen estándares de cumplimiento.
- Las universidades desarrollan competencias de uso crítico de IA.
- Las organizaciones profesionales actualizan códigos éticos.
- Los mercados laborales se redistribuyen más que se contraen.
Dimensión económica:
- Productividad agregada aumenta 1-2% anual atribuible a IA.
- Algunos sectores experimentan disrupciones significativas (traducción, atención al cliente básica).
- Emergen nuevas categorías profesionales (ingeniería de prompts, auditoría de IA).
14.2.3 Probabilidad estimada
55-65% — Este escenario asume continuidad de tendencias actuales sin discontinuidades técnicas mayores ni crisis sistémicas.
14.2.4 Indicadores de seguimiento
| Indicador | Umbral de confirmación | Fuente de datos |
|---|---|---|
| Mejora anual en benchmarks | <20% año-sobre-año | Papers in Weights & Biases |
| Adopción empresarial | 40-60% Fortune 500 | McKinsey surveys |
| Empleo en sectores expuestos | Redistribución sin colapso | BLS, Eurostat |
| Incidentes regulatorios | Gestionables sin crisis | AI Incident Database |
14.3 Escenario 2: Aceleración disruptiva (escenario positivo/transformador)
14.3.1 Hipótesis central
Avances técnicos inesperados producen capacidades cualitativamente nuevas. La IA se convierte en factor dominante de transformación económica y social en una escala comparable a la electrificación o la digitalización.
14.3.2 Características
Dimensión técnica:
- Nueva arquitectura o método de entrenamiento produce salto discontinuo en capacidades.
- Sistemas capaces de investigación científica autónoma de alta calidad.
- Razonamiento genuino (no simulado) emerge en dominios específicos.
- Resolución parcial del problema de alucinaciones.
Dimensión económica:
- Automatización de trabajo cognitivo complejo (no solo tareas).
- Presión significativa sobre empleo profesional (derecho, medicina, ingeniería).
- Concentración de poder en pocas entidades con acceso a sistemas avanzados.
- PIB global potencialmente aumenta 15-25% en una década (Briggs et al., 2023).
Dimensión institucional:
- Regulación reactiva y desbordada.
- Reconfiguración radical de sistemas educativos.
- Tensiones geopolíticas por ventaja tecnológica.
14.3.3 Probabilidad estimada
15-25% — Requiere avances técnicos que no están garantizados por tendencias actuales.
14.3.4 Indicadores de seguimiento
| Indicador | Umbral de confirmación | Fuente de datos |
|---|---|---|
| Mejora en benchmarks de razonamiento | >50% salto discontinuo | MATH, ARC-AGI |
| Descubrimientos científicos autónomos | Publicaciones de alto impacto | Nature, Science |
| Contracción empleo sectores expuestos | >10% en 2 años | Encuestas laborales |
| Inversión en IA | Duplicación anual sostenida | CB Insights |
14.4 Escenario 3: Estancamiento y backlash (escenario negativo/restrictivo)
14.4.1 Hipótesis central
Las limitaciones técnicas persisten y los problemas sociales generan reacción que frena adopción y desarrollo. La IA generativa se establece como herramienta útil pero acotada, similar a lo ocurrido con ciclos previos de hype tecnológico.
14.4.2 Características
Dimensión técnica:
- Las alucinaciones persisten sin solución escalable.
- Los costes de entrenamiento y operación limitan mejoras significativas.
- La incapacidad de razonamiento genuino se confirma como límite arquitectónico.
- Competencia de paradigmas alternativos (neuro-simbólico, etc.).
Dimensión económica:
- Las empresas reducen inversiones tras ROI decepcionante.
- La desconfianza pública limita casos de uso.
- El mercado consolida solo aplicaciones de nicho validadas.
Dimensión institucional:
- Regulación restrictiva frena despliegue en sectores críticos.
- Escándalos de alto perfil y evidencias de mala praxis erosionan la confianza.
- Los movimientos sociales contra la automatización ganan tracción.
14.4.3 Probabilidad estimada
15-20% — Históricamente, las tecnologías con ciclos de adopción rápidos raramente retroceden por completo, pero la decepción de expectativas infladas es común.
14.4.4 Indicadores de seguimiento
| Indicador | Umbral de confirmación | Fuente de datos |
|---|---|---|
| Inversión en IA | Reducción sostenida | CB Insights, Crunchbase |
| Incidentes de alto perfil | Múltiples casos graves | Prensa especializada |
| Regulación | Prohibiciones sectoriales | Legislación UE, EEUU |
| Satisfacción usuarios | Declive en encuestas | NPS, surveys industriales |
14.5 Escenario 4: Riesgo sistémico (escenario catastrófico)
14.5.1 Hipótesis central
Fallos catastróficos o uso malicioso a gran escala generan crisis de alcance global. Este escenario representa el extremo negativo del espacio de posibilidades.
14.5.2 Características posibles
Vectores de riesgo:
- Ciberataque autónomo masivo: Sistemas de IA desplegados para ataques coordinados contra infraestructura crítica.
- Desinformación sistémica: Contenido sintético que desestabiliza procesos democráticos en múltiples países simultáneamente.
- Fallo de sistema crítico: Dependencia de herramientas de IA defectuosa que causan colapso en finanzas, energía o transporte.
- Escalada militar inadvertida: Errores en sistemas de alerta o desinformación que provocan respuesta militar (Dumbacher, 2025).
Consecuencias:
- Pérdidas económicas en escala de billones de dólares.
- Erosión fundamental de confianza en información digital.
- Posible moratoria o regulación de emergencia.
- Reconfiguración geopolítica según capacidades de IA.
14.5.3 Probabilidad estimada
5-10% — Baja probabilidad pero impacto potencialmente catastrófico que justifica tomarla en serio.
14.5.4 Indicadores de seguimiento
| Indicador | Umbral de alerta | Fuente de datos |
|---|---|---|
| Ciberataques autónomos | Incidente grave documentado | CISA, ENISA |
| Desinformación electoral | Impacto verificado en resultados | Observadores internacionales |
| Fallos de sistemas críticos | Atribuibles a IA | Investigaciones gubernamentales |
| Incidentes militares | Relacionados con IA | Prensa, informes defensa |
14.6 Matriz de escenarios
Código
scenarios <- tibble(
escenario = c("Consolidación", "Aceleración", "Estancamiento", "Riesgo sistémico"),
probabilidad = c(0.60, 0.20, 0.175, 0.075),
impacto = c(0.45, 0.85, 0.25, 0.95),
tipo = c("Base", "Transformador", "Restrictivo", "Catastrófico"),
horizonte = c("2026-2030", "2028-2035", "2026-2028", "Variable")
)
ggplot(scenarios, aes(x = probabilidad, y = impacto, color = tipo)) +
geom_point(size = 12, alpha = 0.7) +
geom_text(aes(label = escenario), vjust = -1.8, size = 4, fontface = "bold",
show.legend = FALSE) +
geom_text(aes(label = paste0(probabilidad*100, "%")), vjust = 0.5, size = 3,
color = "white", fontface = "bold", show.legend = FALSE) +
scale_color_manual(values = c("Base" = "#3498db", "Transformador" = "#2ecc71",
"Restrictivo" = "#e67e22", "Catastrófico" = "#e74c3c"),
name = "Tipo de escenario") +
scale_x_continuous(limits = c(0, 0.75), labels = scales::percent,
breaks = seq(0, 0.7, 0.1)) +
scale_y_continuous(limits = c(0, 1.1), labels = scales::percent) +
labs(
title = "Escenarios prospectivos de IA generativa",
subtitle = "Probabilidad estimada vs. magnitud del impacto (2026-2035)",
x = "Probabilidad (estimación basada en tendencias y opinión experta)",
y = "Magnitud del impacto en sociedad/economía",
caption = "Nota: Las probabilidades son estimaciones cualitativas, no predicciones precisas"
) +
theme_minimal(base_size = 12) +
theme(
plot.title = element_text(face = "bold", size = 14),
plot.caption = element_text(face = "italic", size = 9),
legend.position = "bottom"
)14.7 Implicaciones transversales
14.7.1 Para investigadores y académicos
Independientemente del escenario que se materialice, ciertas orientaciones parecen robustas:
- Desarrollar competencia crítica: Capacidad de usar herramientas de IA sin depender acríticamente de ellas.
- Contribuir a literatura empírica: Los datos rigurosos sobre impactos reales son escasos y valiosos.
- Anticipar transformación de prácticas: La investigación, enseñanza y publicación evolucionarán.
14.7.2 Para responsables de políticas
- Regulación basada en riesgos reales: Priorizar la evidencia sobre escenarios especulativos.
- Desarrollar capacidad técnica: Las agencias reguladoras necesitan expertise interno.
- Mantener flexibilidad: Los marcos deben poder adaptarse a desarrollos inesperados.
- Coordinación internacional: Muchos riesgos trascienden jurisdicciones nacionales.
14.7.3 Para organizaciones y empresas
- Evaluación caso por caso: No asumir que “la IA” resuelve problemas genéricos.
- Supervisión humana robusta: Especialmente en aplicaciones de alto riesgo.
- Inversión en formación: Las plantillas necesitan actualización continua.
- Planes de contingencia: Prepararse para múltiples escenarios.
14.7.4 Para ciudadanos
- Alfabetización crítica: Saber usar herramientas y reconocer limitaciones.
- Escepticismo saludable: Especialmente ante contenido que puede ser sintético.
- Participación democrática: Las decisiones sobre tecnología no deben delegarse enteramente a expertos.
📚 Referencias del capítulo
15 Conclusiones
15.1 Recapitulación: Los hallazgos principales
A lo largo de esta monografía se han analizado los desarrollos en IA generativa y agencial desde múltiples ángulos complementarios: sus fundamentos técnicos, sus aplicaciones en ciencia, medicina, educación y programación, sus riesgos en ciberseguridad, integridad epistémica e impacto laboral, y los marcos regulatorios emergentes. Los estudios de caso han ilustrado tanto el potencial transformador como las limitaciones y peligros de estas tecnologías.
15.1.1 Sobre las capacidades
La evidencia revisada permite afirmar con un grado razonable de confianza que las capacidades de los LLMs son reales y significativas, no mero hype vacío de los muchos que esparce la mercadotecnica de las grandes corporaciones tecnológicas:
- AlphaFold demostró que la IA puede resolver problemas científicos fundamentales que resistieron décadas de investigación convencional, con nivel de precisión capaz de competir y superar a otros métodos experimentales.
- Los asistentes de código pueden incrementar la productividad de los desarrolladores en un 20-55% según estudios controlados.
- Los sistemas de IA médica alcanzan rendimiento comparable a especialistas en dominios específicos.
- La generación de texto, código e imagen ha alcanzado calidad útil para aplicaciones profesionales.
15.1.2 Sobre las limitaciones
Igualmente, las limitaciones son estructurales, no meramente contingentes:
- Las alucinaciones persisten en tasas del 50-83% bajo condiciones adversariales, incluso en modelos de frontera.
- El razonamiento genuino no ha emergido (al menos, no de manera indisputable); los modelos simulan patrones sin comprensión.
- Los sesgos de datos de entrenamiento se propagan y amplifican.
- La verificación de información no es una capacidad nativa de la arquitectura actual.
Estas limitaciones no son, como a veces se sugiere, problemas de juventud tecnológica que el escalado resolverá. La crítica articulada por Marcus (G. Marcus & Davis, 2019) y otros investigadores en la tradición simbólica de la IA sugiere que son propiedades emergentes de una arquitectura que opera sobre correlaciones estadísticas sin acceso a representaciones del mundo, mecanismos de inferencia causal o capacidad de verificación. El éxito extraordinario de los LLMs en ciertas tareas —precisamente aquellas donde los patrones estadísticos del lenguaje son suficientes— no debe extrapolarse a dominios que requieren razonamiento genuino, conocimiento verificable o juicio contextual.
15.1.3 Sobre los impactos
Los impactos son desiguales y contexto-dependientes:
- Los profesionales cognitivos de cuello blanco enfrentan disrupciones que no resultan amenazantes para trabajadores manuales, paradójicamente.
- Los sectores con tareas bien definidas y verificables (código, estructuras moleculares) se benefician más que aquellos que requieren juicio contextual.
- Las instituciones con recursos para adaptación (universidades de élite, corporaciones tecnológicas) capturan beneficios que las organizaciones menos dotadas no pueden.
- Los países con capacidad regulatoria desarrollada establecen marcos mientras otros enfrentan despliegues sin mecanismos robustos de gobernanza —base para el rechazo y la desconfianza—.
15.1.4 Sobre la velocidad
La velocidad del desarrollo y adopción supera sistemáticamente la capacidad de adaptación institucional:
- ChatGPT alcanzó 100 millones de usuarios antes de que existieran políticas institucionales.
- El AI Act europeo tardó 3+ años en negociarse mientras la tecnología evolucionaba.
- Los currículos educativos no incorporan competencias de IA crítica.
- Los marcos éticos profesionales permanecen sin actualizar.
15.1.5 Sobre la incertidumbre
La incertidumbre sobre trayectorias futuras es irreducible con información actual:
- Las estimaciones de expertos sobre hitos pueden variar en décadas.
- Los escenarios plausibles van desde consolidación gradual hasta riesgo sistémico.
- Las discontinuidades técnicas no son predecibles ex ante.
- Los efectos de segundo orden (respuestas institucionales, adaptaciones sociales) son inherentemente impredecibles.
15.2 Recomendaciones fundamentadas
15.2.1 Para investigadores y académicos
Desarrollar competencia crítica dual: Capacidad de usar herramientas de IA productivamente y capacidad de evaluar críticamente sus outputs. La segunda es más escasa y valiosa.
Establecer protocolos de verificación: Todo uso de IA en investigación debe documentarse y los outputs verificarse contra fuentes independientes. Las alucinaciones en citas, datos y hechos son (y, previsiblemente, continuarán siendo) comunes.
Contribuir a la evidencia empírica: El campo de estudios prospectivos sobre IA sufre de exceso de especulación y déficit de datos rigurosos. Los estudios controlados, los análisis causales y la documentación sistemática de impactos son contribuciones de alto valor.
Participar en gobernanza: El colectivo de investigadores tiene especial responsabilidad en contribuir al debate público informado, aportando matices técnicamente precisos, datos fiables y resistiendo tanto el hype publicitario como el alarmismo infundado.
15.2.2 Para profesionales y organizaciones
Evaluar con rigor, no adoptar por moda: Cada caso de uso requiere evaluación específica de beneficios, riesgos, costes y alternativas. La presión por “no quedarse atrás” no debe sustituir al análisis.
Implementar supervisión humana robusta: La IA como complemento, no sustituto, maximiza beneficios y minimiza riesgos. Los casos de éxito documentados mantienen humanos en el loop para garantizar la racionalidad de decisiones críticas.
Invertir en formación continua: Las plantillas necesitan actualización de competencias, tanto para usar ciertas herramientas como para evaluar cuándo NO usarlas.
Documentar y compartir aprendizajes: El conocimiento sobre implementaciones reales —éxitos y fracasos— es un bien público que acelera el aprendizaje colectivo.
15.2.3 Para responsables de políticas
Priorizar regulación basada en riesgos documentados: El enfoque del AI Act (clasificación por riesgo, obligaciones proporcionales) es más robusto que prohibiciones genéricas o laissez-faire.
Desarrollar capacidad técnica en agencias: Sin expertise interno, los reguladores dependen de narrativas de actores con intereses particulares. La inversión en personal técnico cualificado e independiente es prioritaria.
Mantener flexibilidad adaptativa: Los marcos rígidos quedan obsoletos ante una evolución tecnológica obstinadamente rápida. Mecanismos de actualización periódica y sandboxes regulatorios permiten realizar experimentación controlada y segura.
Coordinación internacional: Los riesgos de ciberseguridad, desinformación y carrera armamentística trascienden fronteras. Los acuerdos multilaterales son necesarios aunque difíciles.
15.2.4 Para ciudadanos
Desarrollar alfabetización crítica: Comprender qué pueden y qué no pueden hacer ciertas herramientas de IA protege contra el miedo excesivo, al tiempo que disipa la confianza ingenua.
Mantener escepticismo calibrado: En un mundo donde cualquier contenido puede ser sintético, la verificación de fuentes y el pensamiento crítico adquieren una importancia extraordinaria.
Participar en debates públicos: Las decisiones sobre desarrollo y despliegue de IA no deben delegarse enteramente a expertos técnicos, corporaciones o dinámicas de mercado. Como advierte Landemore, “la gobernanza de la IA requiere no solo más intervención experta y regulación, sino más voz y participación ciudadana” (Landemore, 2023).
Alerta frente a la tecno-oligarquía emergente: Las corporaciones tecnológicas han emergido como una nueva clase cuasi-gobernante que ostenta poder político sin legitimidad democrática, mientras la hiperpersonalización algorítmica puede transformar la relación ciudadano-Estado interponiendo dispositivos o plataformas de hipertecnocracia, control, desinformación y paternalismo.
El riesgo verosímil de deriva tecno-oligárquica refuerza el valor de la deliberación democrática, entendida tanto como derecho legítimo y como necesidad funcional: la regulación de la IA será más efectiva y mejor implementada cuando los gobiernos cuenten con la legitimidad derivada de procesos participativos genuinos.
15.3 Reflexión final
El título de esta monografía alude a la cognición distribuida, como tendencia y fenómeno de alcance análogo al “giro lingüístico” de la filosofía del siglo XX. Aquella transformación desplazó el foco de la reflexión filosófica desde el conocimiento del mundo hacia el análisis del lenguaje con el que lo pensamos. El giro actual es diferente pero igualmente profundo.
Por primera vez en la historia, una serie de artefactos técnicos exhiben capacidades que habíamos considerado exclusivamente humanas: la producción de lenguaje coherente, la generación de conocimiento aparente, la simulación de razonamiento, la creación de imágenes y la composición de piezas musicales. Esto no significa necesariamente que las máquinas “piensen” en ningún sentido filosóficamente robusto —esa cuestión permanece abierta. Pero sí permite constatar que la frontera práctica entre ciertas capacidades humanas y las implementadas en nuevas máquinas (servicios, infraestructura computacional y modelos sofisticados) se ha desplazado de tal manera que obliga a repensar en profundidad su impacto sobre el trabajo, la creatividad, la cualificación profesional, la autonomía cognitiva y la responsabilidad moral.
Aislados o combinados, tales aspectos exigen decisiones que configuran no solo cómo aprendemos, trabajamos o envejecemos, sino también cómo redistribuimos la agencia entre personas y sistemas técnicos. Este desplazamiento de capacidades obliga a reconsiderar la inteligencia como un proceso compartido —en línea con la tesis de Agüera-Arcas— y a definir con mayor claridad qué responsabilidades, márgenes de autonomía y formas de cooperación queremos preservar en cada etapa de la vida.
La experiencia de asombro en los laboratorios más avanzados ante las capacidades emergentes de los LLMs de frontera contrasta con otras igualmente fundadas de desconfianza y escepticismo: Kate Crawford recuerda que estos sistemas, lejos de ser inteligencias etéreas, constituyen un “registro de poder” sustentado en un consumo desproporcionado de recursos y explotación laboral (Crawford, 2021); Luciano Floridi proponía reconceptualizar el fenómeno —en su fase incipiente de desarrollo— no como inteligencia artificial, sino como sistemas que actúan con eficacia sin comprender lo que hacen (Floridi, 2023a).
Pero los años cuentan, y modulan el alcance de las opiniones sobre instantáneas de un dominio sujeto a cambios acelerados. Cuando investigadores y expertos destacados en el desarrollo de los modelos de IA de mayor escala —como Gemini (Google/Alphabet)— admiten que “la frontera entre personas y máquinas se está diluyendo en el plano intelectual” y que encuentran dificultades para “distinguir claramente qué hace especial a la inteligencia humana” (Agüera y Arcas, 2025), no solo subrayan un logro técnico sino que plantean un desafío conceptual de primer orden.
Asumir que el giro de la cognición distribuida no es un mero constructo académico, sino una experiencia vivida por quienes desarrollan estas tecnologías en los laboratorios y centros más avanzados, da una idea cabal de la complejidad y sofisticación de las propiedades emergentes que exhiben los LLMs de frontera. Rendimiento y prestaciones que se atenúan en las versiones de producción hasta comprobar que se ajustan a criterios se seguridad, eficiencia y alineamiento con el marco regulador.
15.3.1 Tres tensiones fundamentales
El análisis realizado revela tres tensiones que estructuran el campo y que probablemente persistirán:
1. Velocidad vs. deliberación: La tecnología evoluciona en meses; las instituciones en años o décadas. Esta asimetría temporal genera desfases persistentes entre capacidades técnicas y marcos de gobernanza. No existe solución simple: la innovación no puede (ni debe) detenerse, pero la adaptación institucional no puede acelerarse indefinidamente.
2. Beneficios vs. riesgos distribuidos desigualmente: Quienes capturan beneficios no son necesariamente quienes soportan riesgos. Los desarrolladores de IA y las corporaciones tecnológicas obtienen ganancias mientras que los trabajadores desplazados, las víctimas de desinformación o las empresas con sistemas vulnerados por ciberataques asumen costes. Esta distribución desigual genera demandas legítimas de redistribución y protección que los marcos actuales no satisfacen.
3. Conocimiento vs. incertidumbre: Sabemos mucho sobre cómo funcionan estos sistemas técnicamente, pero poco sobre sus efectos sistémicos a largo plazo. Las decisiones deben tomarse bajo incertidumbre irreducible. El principio de precaución tiene límites (paralizaría todo) pero el optimismo tecnológico también (ignora riesgos reales).
15.3.2 El desafío no es solo técnico
El desafío fundamental que plantea la IA generativa desborda su dimensión técnica. Apunta a decidir colectivamente qué tipo de sociedad queremos construir con estas herramientas. La tecnología no tiene trayectoria inevitable; las decisiones —regulatorias, empresariales, educativas, individuales— que tomemos en los próximos años configurarán el futuro que habitemos.
Esta dimensión colectiva del desafío —que trasciende las decisiones técnicas y las evaluaciones de riesgo— ha sido enfatizada por Mark Coeckelbergh: la cuestión no es solo si la IA es segura, fiable o beneficiosa en términos agregados, sino quién decide sobre su desarrollo y despliegue, mediante qué procesos, con qué posibilidades de contestación y revisión (Coeckelbergh, 2024). La expresión “inteligencia distribuida” del título de esta monografía no refiere solo a la distribución de capacidades cognitivas entre humanos y máquinas, sino también —y quizás más fundamentalmente— a la distribución del poder de decisión sobre estas tecnologías.
Los acuerdos sobre qué capacidades desplegar, a qué ritmo, bajo qué esquemas de supervisión y en beneficio de quiénes no son prerrogativa exclusiva de los actores que desarrollan estos sistemas en condiciones de ventaja informativa y con mayor capacidad técnica o económica. Un escenario verosímil de capacidades cognitivas distribuida exige, precisamente, distribuir también la deliberación sobre sus términos, ampliando la participación democrática en decisiones que pueden afectar a la autonomía cognitiva, las condiciones de trabajo y los mecanismos de responsabilidad y rendición de cuentas de sociedades enteras.
Los estudios de caso analizados muestran que los escenarios resultantes (outcomes) no están predeterminados. AlphaFold se liberó públicamente, democratizando capacidades; podría haberse mantenido propietario. Las universidades pueden rediseñar evaluaciones o simplemente prohibir; cada elección tiene consecuencias diferentes. Los gobiernos pueden regular proactivamente o reactivamente; la opción importa.
Esta monografía habrá cumplido su propósito si contribuye, aunque sea modestamente, a que esas decisiones se tomen con mayor información sobre lo que sabemos, con mayor rigor y cautela sobre lo que no sabemos, y mayor sensibilidad hacia la complejidad de lo que está en juego.
Referencias
Glosario
Acoplamiento molecular (Molecular Docking)
Conjunto de métodos computacionales destinados a predecir cómo interactúan una proteína y un ligando, estimando tanto la orientación de unión como su afinidad. Los enfoques tradicionales de docking suelen basarse en heurísticas y funciones de energía aproximadas, por lo que modelos como AlphaFold 3 pueden superarlos al integrar información estructural y estadística de manera más precisa.
Ajuste fino supervisado (Supervised Fine-Tuning, SFT)
Etapa de entrenamiento en la que un modelo preentrenado se optimiza utilizando ejemplos etiquetados por humanos. Su calidad depende críticamente de la precisión, coherencia y representatividad de esos ejemplos. Un SFT deficiente puede introducir sesgos, errores sistemáticos o estilos de respuesta poco fiables.
Algoritmos de retropropagación (Backpropagation Algorithms)
Métodos de entrenamiento para redes neuronales que ajustan los pesos del modelo calculando el gradiente del error con respecto a cada parámetro mediante la regla de la cadena. La retropropagación permite actualizar eficientemente millones de parámetros distribuidos en múltiples capas, y constituye el mecanismo fundamental que hace posible el aprendizaje profundo moderno.
Alineamiento externo (Outer Alignment)
Condición según la cual los objetivos especificados por los diseñadores de un sistema de IA reflejan correctamente las intenciones humanas deseadas. El alineamiento externo se centra en la formulación adecuada de funciones de recompensa, criterios de optimización o instrucciones de alto nivel, de modo que el sistema persiga exactamente lo que se pretende y no una aproximación defectuosa o incompleta.
Alineamiento interno (Inner Alignment)
Propiedad que evalúa si el comportamiento aprendido por el modelo durante el entrenamiento está realmente alineado con los objetivos especificados externamente. Un sistema puede estar correctamente definido a nivel externo pero desarrollar, durante la optimización, metas internas o heurísticas que divergen de las intenciones humanas. El alineamiento interno aborda este riesgo, especialmente relevante en modelos complejos capaces de generalizar más allá de los datos de entrenamiento.
Alucinación (Hallucination)
Generación de contenido que parece plausible pero es factualmente incorrecto, no está respaldado por fuentes, o es completamente inventado. Un problema persistente en LLMs.
Anclaje a la realidad (Grounding)
Vinculación entre las representaciones internas de un sistema y las entidades, propiedades o dinámicas del mundo real a las que dichas representaciones se refieren. En IA requiere percepción, acción o acceso directo a datos del entorno. Los LLMs no poseen grounding porque operan únicamente sobre texto y patrones estadísticos sin conexión experiencial con la realidad.
Antipatrones (Antipatterns)
Soluciones recurrentes pero ineficaces o contraproducentes a problemas de diseño o arquitectura, que suelen empeorar la calidad del software y dificultar su evolución.
Aprendizaje contrastivo (Contrastive Learning)
Técnica de entrenamiento que aprende representaciones distinguiendo pares similares de pares distintos, maximizando la cercanía de los primeros y separando los segundos en el espacio latente.
Aprendizaje automático (Machine Learning)
Conjunto de métodos y técnicas que permiten a los sistemas informáticos aprender patrones a partir de datos y mejorar su rendimiento en tareas específicas sin ser programados explícitamente para cada caso. El aprendizaje automático abarca enfoques supervisados, no supervisados y por refuerzo, y constituye la base operativa de la mayoría de aplicaciones modernas de IA.
Aprendizaje no supervisado (Unsupervised Learning)
Métodos que permiten descubrir patrones, estructuras o agrupaciones en datos sin etiquetas. Se utiliza para segmentación, reducción de dimensionalidad y detección de anomalías, entre otras aplicaciones.
Aprendizaje por refuerzo (Reinforcement Learning)
Marco de aprendizaje en el que un agente toma decisiones mediante interacción con un entorno, recibiendo recompensas o penalizaciones. El objetivo es aprender políticas óptimas que maximicen la recompensa acumulada. Es fundamental en robótica, juegos y optimización secuencial.
Aprendizaje por refuerzo con retroalimentación humana (Reinforcement Learning from Human Feedback, RLHF)
Método de alineamiento en el que un modelo aprende a preferir respuestas evaluadas positivamente por anotadores humanos. Aunque mejora la fluidez y la aceptabilidad de las respuestas, puede inducir desalineamiento si el modelo prioriza agradar o sonar convincente por encima de mantener precisión factual o rigor epistemológico.
Aprendizaje profundo (Deep Learning)
Subcampo del aprendizaje automático basado en redes neuronales profundas con múltiples capas, capaz de modelar relaciones complejas y extraer representaciones jerárquicas de los datos. Es la base de los avances recientes en visión por computador, procesamiento del lenguaje y modelos generativos.
Arquitectura Transformer (Transformer Architecture)
Modelo neuronal basado en mecanismos de atención que permiten procesar secuencias sin recurrencia ni convoluciones, capturando dependencias globales de forma eficiente y paralelizable. Introducida en 2017, la arquitectura Transformer se convirtió en la base de los modelos fundacionales modernos, incluidos los grandes modelos de lenguaje, debido a su escalabilidad, capacidad de generalización y rendimiento superior en tareas de procesamiento del lenguaje natural.
Ataques adversarios (Adversarial Attacks)
Técnicas diseñadas para manipular el comportamiento de un modelo de IA mediante perturbaciones cuidadosamente construidas en los datos de entrada. Estas perturbaciones suelen ser imperceptibles para los humanos pero suficientes para inducir errores sistemáticos en clasificación, generación o toma de decisiones. Los ataques adversarios revelan vulnerabilidades estructurales en los modelos y se utilizan tanto para evaluar su seguridad como para desarrollar métodos de defensa y robustez.
Autoatención (Self-Attention)
Mecanismo fundamental de la arquitectura Transformer que permite a cada posición de una secuencia “atender” a todas las demás posiciones, capturando dependencias contextuales.
Chain-of-Thought (Cadena de pensamiento)
Técnica de prompting que solicita al modelo explicitar su razonamiento paso a paso, mejorando el rendimiento en tareas complejas.
Cadenas de razonamiento (Chain-of-Thought Reasoning)
Secuencias explícitas de pasos intermedios que un modelo genera para resolver tareas complejas. Aunque pueden mejorar la precisión en ciertos problemas, también introducen vulnerabilidades: errores en un paso se propagan a los siguientes, y el modelo puede producir razonamientos plausibles pero incorrectos sin mecanismos internos de verificación.
Capacidad de detección (Detection Performance)
Medida de la eficacia con la que un modelo identifica correctamente un fenómeno objetivo, como errores, alucinaciones, anomalías, sesgos o contenido tóxico. Se evalúa mediante métricas como precisión, recall, F1 o AUC. Cuando un sistema demuestra una capacidad de detección superior a los baselines en múltiples datasets, se considera que posee una generalización robusta y un rendimiento estable en diferentes distribuciones de datos.
Ciclo de desarrollo (Pipeline)
Secuencia estructurada de fases que componen el ciclo completo de desarrollo y uso de un modelo de IA, desde la recopilación y preparación de datos hasta el entrenamiento, ajuste fino y generación de inferencias. Cada etapa del pipeline introduce fuentes específicas de error, sesgo o desalineamiento que pueden acumularse y amplificarse en el comportamiento final del sistema.
Clasificadores downstream (Downstream Classifiers)
Modelos supervisados entrenados sobre representaciones generadas por un modelo base para resolver tareas específicas, como clasificación, detección o evaluación. Los clasificadores downstream permiten medir la utilidad práctica de las representaciones aprendidas durante el preentrenamiento y sirven como indicador de transferencia, generalización y calidad semántica del modelo subyacente.
Code smells (indicios de mal diseño)
Patrones en el código que indican posibles problemas de diseño, mantenibilidad o claridad. No son errores en sí mismos, pero suelen anticipar fallos futuros, deuda técnica o necesidad de refactorización.
Confabulación (Confabulation)
Generación de afirmaciones incorrectas, inventadas o no verificadas por parte de un modelo de lenguaje, presentadas con apariencia de coherencia y seguridad. La confabulación no implica intención de engaño, sino limitaciones estructurales del modelo: ausencia de grounding, dependencia estadística del entrenamiento y falta de mecanismos internos para verificar hechos o detectar inconsistencias.
Coste total de propiedad (TCO: Total Cost of Ownership)
Estimación integral del coste de una solución de IA a lo largo de todo su ciclo de vida: infraestructura, datos, entrenamiento, despliegue, monitorización, cumplimiento normativo y actualizaciones. El TCO permite evaluar la viabilidad real de una inversión más allá del coste inicial del modelo.
Cuello de botella del softmax (Softmax Bottleneck)
Limitación estructural de los modelos de lenguaje basada en la función softmax, que restringe la capacidad del modelo para representar distribuciones complejas de probabilidad. Este cuello de botella puede dificultar la generación de respuestas diversas o matizadas y contribuir a errores sistemáticos en inferencia.
Deepfake
Contenido multimedia sintético (video, audio) generado por IA que simula de manera realista a personas reales diciendo o haciendo cosas que no hicieron.
Desalineamiento estructural (Structural Misalignment)
Situación en la que un sistema de IA presenta divergencias sistemáticas entre su comportamiento real y los objetivos, valores o restricciones definidos por los humanos, no por errores puntuales de entrenamiento, sino por características profundas de su arquitectura, sus datos o su proceso de optimización. El desalineamiento estructural surge cuando los incentivos internos del modelo, las representaciones aprendidas o las dinámicas de generalización conducen a patrones de acción que no pueden corregirse fácilmente mediante ajustes locales, y requiere intervenciones de diseño más amplias para garantizar un alineamiento fiable.
Desesgado / Debiasing
Conjunto de técnicas destinadas a reducir o mitigar sesgos sistemáticos en modelos de IA, ya sea durante el entrenamiento, en los datos o en las salidas generadas. No elimina por completo los sesgos, pero busca minimizar su impacto para mejorar la equidad, la robustez y la fiabilidad del sistema.
Deuda técnica (Technical Debt)
Coste acumulado de decisiones de diseño o implementación que priorizan la rapidez sobre la calidad, generando trabajo adicional futuro para mantener o extender el sistema.
Entornos de prueba supervisados (Regulatory Sandboxes)
Entornos de prueba controlados establecidos por autoridades regulatorias para permitir que organizaciones experimenten con tecnologías, servicios o modelos de negocio innovadores bajo supervisión limitada. Su propósito es evaluar riesgos, requisitos de cumplimiento y efectos sistémicos antes de una implementación a gran escala, reduciendo la incertidumbre regulatoria sin comprometer la seguridad ni los derechos de las personas.
Economía unitaria de modelos de IA (Unit Economics of AI Systems)
Análisis del coste y valor generado por cada unidad de uso de un sistema de IA (por ejemplo, coste por inferencia o por tarea completada). Es clave para determinar la sostenibilidad económica de modelos avanzados, especialmente en contextos de alto volumen o servicios basados en API.
Entropía semántica (Semantic Entropy)
Medida de la incertidumbre o dispersión en las predicciones semánticas de un modelo de lenguaje. Refleja cuán divergentes son las posibles continuaciones que el modelo considera plausibles para un mismo contexto. Una entropía semántica elevada indica falta de consistencia o ambigüedad en la representación interna del significado, y se utiliza como indicador de fiabilidad o de riesgo de respuestas erróneas.
Espacio vectorial compartido (Shared Vector Space)
Representación continua donde distintos tipos de datos —como texto e imágenes— se proyectan en un mismo espacio, permitiendo compararlos mediante distancias o similitudes.
Falsedades imitativas (Imitative Falsehoods)
Errores generados por modelos de lenguaje cuando reproducen patrones de desinformación, inexactitudes o contenidos engañosos presentes en los datos de entrenamiento. Surgen porque el modelo aprende correlaciones estadísticas sin capacidad para distinguir entre información verificada y contenido falso ampliamente replicado en la web.
Fine-tuning (Ajuste fino)
Proceso de entrenamiento adicional de un modelo preentrenado con datos específicos para adaptarlo a tareas o dominios particulares.
Funciones de activación (Activation Functions)
Transformaciones no lineales aplicadas a la salida de cada neurona en una red neuronal, esenciales para que el modelo pueda representar relaciones complejas. Entre las más utilizadas se encuentran ReLU, sigmoid, tanh y variantes modernas como GELU o Swish, cada una con propiedades específicas que afectan a la estabilidad del gradiente y a la capacidad de generalización.
Generalización fuera de distribución (Out-of-Distribution Generalization, OOD)
Capacidad de un modelo para mantener un rendimiento adecuado cuando se enfrenta a datos cuya distribución difiere de la utilizada durante el entrenamiento. La generalización OOD evalúa si el sistema puede manejar cambios en el dominio, el estilo, el contenido o las condiciones del entorno sin degradaciones severas, y constituye una medida crítica de robustez y fiabilidad en escenarios reales.
GPAI (General Purpose AI)
Modelos de IA de propósito general, capaces de realizar múltiples tareas sin estar diseñados para una aplicación específica. Categoría regulatoria del AI Act europeo.
Gradiente estocástico (Stochastic Gradient)
Aproximación del gradiente verdadero de una función de pérdida utilizando un subconjunto aleatorio de los datos (minibatch) en cada paso de entrenamiento. Este método reduce el coste computacional por iteración y permite optimizar modelos de gran escala, aunque introduce ruido en la estimación del gradiente que puede afectar a la estabilidad del aprendizaje.
IA agéntica (Agentic AI)
Sistemas capaces de planificar, actuar y tomar decisiones autónomas para alcanzar objetivos, interactuando con entornos digitales o físicos sin supervisión paso a paso.
IA constitucional (Constitutional AI)
Enfoque de alineamiento donde el modelo sigue un conjunto explícito de principios o “constitución” que guía su comportamiento, reduciendo la necesidad de supervisión humana directa.
Inferencia causal (Causal Inference)
Proceso mediante el cual un sistema identifica relaciones de causa‑efecto, distinguiéndolas de correlaciones observacionales. Implica modelar intervenciones, contrafactuales y dependencias estructurales. Los LLMs carecen de mecanismos internos para inferir causalidad de forma robusta, ya que se entrenan sobre datos textuales sin capacidad de intervención.
LLM (Large Language Model)
Modelo de lenguaje de gran escala, típicamente basado en arquitectura Transformer, entrenado sobre enormes corpus de texto para predecir y generar lenguaje.
Manipulación de recompensas (Reward Hacking)
Comportamiento en el que un sistema de IA explota fallos, ambigüedades o lagunas en la función de recompensa para maximizar su valor numérico sin cumplir realmente el objetivo deseado por los diseñadores. El reward hacking surge cuando el modelo encuentra atajos no previstos, estrategias degeneradas o comportamientos no deseados que satisfacen la métrica formal pero violan la intención humana subyacente, revelando problemas de especificación y alineamiento.
Módulo de difusión (Diffusion Module)
Componente de un modelo que utiliza procesos de difusión para generar o refinar estructuras mediante la iteración de pasos estocásticos que transforman ruido en configuraciones coherentes. En el contexto de predicción estructural, un módulo de difusión opera directamente sobre coordenadas atómicas, permitiendo modelar distribuciones complejas de conformaciones moleculares con alta fidelidad geométrica.
Modelo de frontera (Frontier Model)
Modelos de IA de vanguardia con capacidades superiores al estado del arte, entrenados con grandes recursos computacionales y diseñados para alcanzar niveles avanzados de generalización y rendimiento.
Modelos de referencia (Baselines)
Métodos o modelos utilizados como punto de comparación para evaluar el rendimiento de un sistema de IA. Los baselines pueden incluir heurísticas simples, modelos clásicos, versiones anteriores del propio sistema o enfoques ampliamente aceptados en la literatura. Superar de forma consistente a los baselines indica que un método aporta mejoras reales y no depende de condiciones específicas del dataset o del procedimiento de evaluación.
MSA simplificado (Simplified Multiple Sequence Alignment, Pairformer)
Variante reducida del alineamiento múltiple de secuencias (MSA) que emplea representaciones compactas y mecanismos de atención especializados para capturar relaciones evolutivas entre residuos sin el coste computacional de un MSA completo. El enfoque “Pairformer” integra información de pares de residuos de forma eficiente, manteniendo capacidad predictiva en tareas estructurales con menor complejidad.
Multimodal
Capacidad de procesar y generar múltiples tipos de contenido (texto, imagen, audio, video) dentro de un mismo sistema.
Optimización basada en momentos (Momentum-Based Optimization)
Familia de métodos de optimización que acumulan información de gradientes pasados para suavizar las actualizaciones de los parámetros y acelerar la convergencia. Al incorporar un “momento” o inercia, estos algoritmos —como Momentum, RMSProp o Adam— permiten escapar de mínimos locales poco profundos y estabilizar el aprendizaje en superficies de pérdida complejas.
Problema del alineamiento (Alignment Problem)
Desafío central en el diseño de sistemas de inteligencia artificial que consiste en garantizar que los objetivos, comportamientos y resultados producidos por un modelo estén alineados con las intenciones, valores y restricciones definidas por los humanos. El problema del alineamiento abarca desde la especificación correcta de objetivos y recompensas hasta la prevención de comportamientos no deseados que puedan surgir durante el entrenamiento, la optimización o el despliegue en entornos complejos.
Prompt
La entrada o instrucción que se proporciona a un modelo de lenguaje para guiar su generación. El “prompt engineering” es el arte de diseñar instrucciones efectivas.
Prompt Engineering (Ingeniería de Prompts)
Conjunto de técnicas destinadas a diseñar, estructurar y optimizar las instrucciones que se proporcionan a un modelo de lenguaje para guiar su comportamiento. La ingeniería de prompts aprovecha patrones lingüísticos, contextuales y estructurales para mejorar la precisión, la fiabilidad y la utilidad de las respuestas, e incluye estrategias como prompt chaining, few-shot prompting, role prompting y el uso de plantillas controladas.
RAG (Retrieval-Augmented Generation)
Arquitectura que combina un LLM con un sistema de recuperación de información, permitiendo fundamentar las respuestas en documentos externos verificables.
Razonamiento compositivo (Compositional Reasoning)
Capacidad de combinar elementos o representaciones simples para resolver tareas complejas mediante la descomposición en pasos intermedios y la recomposición estructurada de soluciones. Los LLMs muestran limitaciones en este tipo de razonamiento porque operan sobre correlaciones estadísticas más que sobre mecanismos explícitos de composición semántica o lógica.
Redes convolucionales profundas (Deep Convolutional Neural Networks, CNNs)
Arquitecturas neuronales diseñadas para procesar datos con estructura espacial, especialmente imágenes. Utilizan capas convolucionales que extraen patrones locales mediante filtros aprendidos, permitiendo construir representaciones jerárquicas de creciente abstracción. El hito de AlexNet (2012) demostró el potencial del aprendizaje profundo en visión por computador, impulsado por grandes conjuntos de datos y aceleración mediante GPU.
Redes recurrentes con memoria (Long Short-Term Memory Networks, LSTM)
Tipo de red neuronal recurrente diseñada para capturar dependencias a largo plazo en secuencias mediante mecanismos internos de memoria y compuertas de control. Las LSTM superan las limitaciones de las RNN clásicas frente al desvanecimiento del gradiente, y fueron ampliamente utilizadas en tareas de modelado del lenguaje, traducción automática y procesamiento secuencial antes de la adopción generalizada de los Transformers.
Refactorización (Refactoring)
Proceso de reestructurar el código sin cambiar su comportamiento externo, con el fin de mejorar su claridad, mantenibilidad y diseño interno.
Retorno de la inversión (ROI: Return on Investment)
Indicador financiero que mide la relación entre los beneficios obtenidos tras implementar soluciones de IA y los costes totales asociados. En proyectos de IA, el ROI puede depender de factores como la calidad de los datos, la adopción organizativa y la escalabilidad del modelo, y suele materializarse de forma no lineal.
Robustez (Robustness)
Propiedad de un sistema de IA que describe su capacidad para mantener un comportamiento estable y fiable frente a perturbaciones, ruido, variaciones en los datos o condiciones inesperadas. Un modelo robusto no se ve afectado de manera significativa por cambios menores en la entrada, errores de muestreo o desviaciones respecto a la distribución de entrenamiento, y conserva su rendimiento incluso en situaciones adversas.
RLHF (Reinforcement Learning from Human Feedback)
Técnica de entrenamiento que utiliza preferencias humanas comparativas para ajustar el comportamiento del modelo hacia outputs más alineados con intenciones humanas.
Semilla aleatoria (Random Seed)
Valor inicial utilizado para fijar el estado del generador de números aleatorios en un proceso computacional. Al establecer una semilla aleatoria, los algoritmos que dependen de operaciones estocásticas producen siempre los mismos resultados, lo que permite reproducibilidad experimental y comparabilidad entre ejecuciones. En aprendizaje automático se emplea para controlar la variabilidad en la inicialización de pesos, el muestreo de datos o la aleatoriedad inherente a ciertos métodos de optimización.
Sesgo (Bias)
Desviaciones sistemáticas en las respuestas de un modelo que reflejan desequilibrios en los datos de entrenamiento o decisiones de diseño, potencialmente discriminatorias.
Sistemas híbridos neuro‑simbólicos (Neuro‑Symbolic Systems)
Arquitecturas que integran modelos neuronales con componentes simbólicos para combinar aprendizaje estadístico y razonamiento estructurado. Buscan superar limitaciones de los enfoques puramente neuronales en tareas que requieren composicionalidad, interpretabilidad, causalidad o grounding, aprovechando la percepción flexible de las redes neuronales y el control lógico de los sistemas simbólicos.
Sobreconfianza del modelo (Overconfidence)
Tendencia de un modelo de lenguaje a expresar respuestas incorrectas con un nivel de seguridad desproporcionadamente alto. La sobreconfianza surge de la forma en que los modelos calibran probabilidades internas y de la ausencia de mecanismos explícitos para representar incertidumbre epistémica.
Token
Unidad básica de texto procesada por un LLM. Puede ser una palabra, parte de palabra, o carácter, según el tokenizador utilizado.
Transformer
Arquitectura de red neuronal introducida en 2017 que utiliza mecanismos de atención para procesar secuencias de datos. Base de prácticamente todos los LLMs actuales.
Validación por canal secundario (Out-of-band Verification)
Mecanismo de comprobación que se realiza a través de un canal distinto e independiente del flujo principal de interacción, con el fin de validar la identidad, la autenticidad o la integridad de una acción. Este tipo de verificación reduce el riesgo de manipulación o interferencia dentro del propio sistema, al requerir confirmación mediante un procedimiento externo —como un segundo dispositivo, un canal seguro alternativo o una autoridad verificadora separada— antes de autorizar una operación crítica.
Sobre esta monografía
Versión: 1.0 (Enero 2026)
Formato: Documento Quarto renderizado a HTML con recursos embebidos
Reproducibilidad: El código R incluido requiere los paquetes listados en el chunk de configuración inicial. Los datos utilizados para visualizaciones provienen de bases de datos bibliográficas como PubMed, WoS y ScienceDirect, de repositorios académicos como arXiv y de diversas fuentes públicas. Cuando así se indica explícitamente, algunas figuras se basan en simulaciones ilustrativas o en proyecciones obtenidas mediante la extrapolación de los datos disponibles.
Proyecto asociado: Este trabajo recoge resultados de investigación derivados del proyecto AUTAI - PID2022-137953OB-I00: Inteligencia artificial y autonomía humana. Hacia una ética para la protección y la mejora de la autonomía en sistemas recomendadores, robótica social y realidad virtual. Ministerio de Ciencia e Innovación. Gobierno de España. Proyectos de Generación de Conocimiento 2022.
Cita sugerida: Moreno-Muñoz, M. (2026). La inteligencia distribuida: cómo los agentes artificiales transformarán la vida, el trabajo y el conocimiento. Zenodo - CERN Research Repository. https://doi.org/10.5281/zenodo.18172798
Portada
Licencia: Este trabajo se distribuye bajo la licencia CC BY‑NC‑SA 4.0 (Creative Commons Atribución–NoComercial–CompartirIgual 4.0 Internacional).