La primera sesión del IV edición del foro Mejores Empresas, Mejor Democracia fue un diálogo entre ingenieros y filósofos. La sesión estuvo dedicada a reflexionar sobre los desafíos éticos, políticos y humanos que plantea el desarrollo contemporáneo de la inteligencia artificial. A través de un diálogo entre Lucía Ortiz de Zárate y Juan Antonio Cordero Fuertes, moderado por Ricardo Calleja, los participantes analizaron cuestiones como la lógica de la optimización tecnológica, los sesgos, la opacidad de los sistemas automatizados y la necesidad de incorporar una formación más humanística en el diseño y gobernanza de la tecnología.

Preparación para la sesión

Antes de la sesión, se recomendó a los deliberantes la lectura de una serie de materiales preparatorios breves, con el objetivo de proporcionarles el contexto necesario sobre las principales cuestiones que serían abordadas durante el foro.

Materiales para la sesión

Entrevista de Sam Altman Síntesis de las lecturas Referencias:

Ponencia principal

En esta ocasión, el foro abordó las implicaciones morales, políticas y humanas del desarrollo tecnológico y de la inteligencia artificial. La sesión partió de una pregunta de fondo: ¿todo avance tecnológico puede considerarse realmente un progreso desde la perspectiva del desarrollo integral del ser humano? A partir de esta cuestión, los participantes reflexionaron sobre los problemas éticos y de justicia que plantea la tecnología contemporánea, el impacto de la inteligencia artificial sobre la política, la educación y la cohesión social, y el papel que pueden desempeñar las humanidades para orientar el desarrollo tecnológico hacia fines más humanos y responsables.

El propósito de la sesión fue fortalecer el juicio moral de ingenieros, directivos y responsables públicos en un contexto en el que la tecnología —convertida en la gran burocracia de nuestro tiempo— tiende a diluir la responsabilidad individual y a ocultar decisiones políticas bajo una apariencia de neutralidad técnica. El diálogo estuvo moderado por Ricardo Calleja, lecturer de Ética Empresarial en IESE Business School, y contó con la participación de Lucía Ortiz de Zárate, profesora de filosofía de la Universidad Autónoma de Madrid y Juan Antonio Cordero Fuertes, profesor del École Polytechnique, quienes ofrecieron perspectivas complementarias —y en ocasiones contrapuestas— sobre la naturaleza de la inteligencia artificial, los límites de la optimización tecnológica y el lugar de la responsabilidad humana en la toma de decisiones automatizadas.

¿Qué entendemos realmente por “avance” en inteligencia artificial?

La conversación comenzó con una pregunta aparentemente sencilla planteada por Ricardo Calleja: ¿qué sentimos cuando leemos un titular que anuncia un nuevo avance en inteligencia artificial? ¿Alegría, preocupación o simplemente cautela antes de emitir un juicio?

A partir de esta cuestión emergió una primera reflexión crítica sobre la propia idea de progreso tecnológico. Lucía Ortiz de Zárate señaló que la mayoría de los supuestos avances en inteligencia artificial suelen estar asociados a una lógica de optimización: sistemas capaces de hacer más cosas, más rápido y con mayor eficiencia. Sin embargo, advirtió que este tipo de progreso no posee, por sí mismo, un significado ético o moral. Para ella, un verdadero avance sería, por ejemplo, una reducción sustancial del consumo energético o una mejora significativa en la eficiencia de los recursos necesarios para desarrollar estas tecnologías. La cuestión central no es únicamente cuánto crece la capacidad tecnológica, sino hacia dónde queremos dirigirla y qué costes estamos dispuestos a asumir para lograrlo, especialmente en términos ecológicos y sociales.

Juan Antonio Cordero Fuertes introdujo entonces una cuestión terminológica fundamental: ¿de qué métricas hablamos exactamente cuando afirmamos que una inteligencia artificial “mejora”? ¿Velocidad de procesamiento? ¿Capacidad de cómputo? ¿Consumo energético? A su juicio, toda discusión sobre optimización implica necesariamente una decisión política previa acerca de qué variables queremos optimizar y por qué. La inteligencia artificial no puede separarse de las decisiones humanas que determinan sus objetivos, los datos que utiliza y la forma en que se modela la realidad.

En este sentido, insistió en que las cuestiones verdaderamente políticas no residen en el algoritmo en sí mismo, sino en todo aquello que lo rodea: la selección de datos, la definición de categorías, las métricas elegidas y las simplificaciones necesarias para traducir una realidad compleja a un sistema computacional. Cada proceso de modelización implica, inevitablemente, dejar fuera dimensiones de la realidad que no pueden ser fácilmente cuantificadas.

La problemática del término “inteligencia”

Uno de los grandes ejes del diálogo giró en torno al propio concepto de “inteligencia artificial”. Ambos ponentes coincidieron en cuestionar el uso del término, aunque desde perspectivas diferentes.

Juan Antonio Cordero Fuertes sostuvo que lo que hoy denominamos inteligencia artificial no es realmente inteligencia, sino procesamiento masivo de datos. El auge actual responde a la convergencia de varios factores: la existencia de algoritmos avanzados, la capacidad masiva de recolección de datos, la infraestructura global de internet y la enorme potencia de procesamiento alcanzada por los microprocesadores contemporáneos. La revolución actual, señaló, es fundamentalmente una revolución de computación, automatización y digitalización.

Lucía Ortiz de Zárate fue aún más lejos al afirmar que el propio término “inteligencia” resulta profundamente problemático porque genera expectativas desproporcionadas y desplaza el debate moral hacia lugares equivocados. Recordó que, desde Platón y Aristóteles, la idea de inteligencia ha estado históricamente vinculada a relaciones de dominio: unos nacen para gobernar y otros para obedecer. Bajo esa lógica, si una inteligencia artificial llegara a ser “más inteligente” que los seres humanos, deberíamos aceptar su dominación como algo natural. Sin embargo, advirtió que esa concepción de la inteligencia es extraordinariamente estrecha y excluye atributos fundamentales como el cuidado, la benevolencia, la intuición o la capacidad de comprender emocionalmente a los demás.

Precisamente, varias de las habilidades tradicionalmente menos valoradas en el ámbito profesional —y frecuentemente asociadas al ámbito femenino— comienzan ahora a adquirir una nueva relevancia en un contexto en el que las máquinas parecen capaces de automatizar muchas tareas vinculadas al cálculo, el análisis o el razonamiento lógico. La gestión emocional, las capacidades interpersonales o la intuición emergen así como dimensiones difícilmente reducibles a un paradigma puramente optimizador.

Neutralidad, objetividad y sesgos

La cuestión de los sesgos condujo a uno de los debates más complejos de la sesión: la diferencia entre neutralidad y objetividad.

Juan Antonio Cordero Fuertes defendió que el núcleo matemático de los algoritmos de optimización sí puede considerarse neutral. El problema aparece en las decisiones políticas y sociales que rodean al sistema: qué datos se utilizan, cómo se clasifican y qué variables se consideran relevantes. Puso como ejemplo sistemas de selección de personal entrenados exclusivamente con datos históricos de hombres, reproduciendo así sesgos estructurales ya presentes en la sociedad.

Lucía Ortiz de Zárate introdujo entonces una distinción importante entre neutralidad y objetividad. A su juicio, los procesos técnicos pueden aspirar a la objetividad en la medida en que siguen metodologías verificables y contrastables. Sin embargo, la neutralidad es otra cuestión distinta. Toda tecnología “habla desde algún lugar”, incorpora una determinada visión del mundo y refleja prioridades concretas, aunque muchas veces estas permanezcan invisibles para el usuario. Mientras que en un medio de comunicación puede intuirse desde qué posición ideológica se construye un discurso, en la inteligencia artificial esa perspectiva suele permanecer oculta.

Por ello, insistió en la necesidad de abandonar la idea de que la tecnología es neutral. La opacidad tecnológica genera una falsa sensación de objetividad y contribuye a construir un aura de misterio alrededor de la inteligencia artificial. En muchos casos, señaló, aquello que interpretamos como “inteligencia” es simplemente el resultado de no comprender realmente cómo funcionan estos sistemas.

Juan Antonio Cordero Fuertes matizó esta posición distinguiendo entre ciencia y tecnología. La ciencia puede aspirar a cierta neutralidad metodológica; sin embargo, la tecnología deja de ser neutral en el momento en que se aplica a fines concretos dentro de una sociedad determinada.

Tecnología, burocracia y dilución de la responsabilidad

Otro de los grandes temas abordados fue la relación entre tecnología, burocracia y responsabilidad política.

Juan Antonio Cordero Fuertes describió algunas de las declaraciones públicas de líderes tecnológicos contemporáneos como discursos propios de un burócrata más que de un científico: intervenciones cargadas de lenguaje oscuro y opaco, orientadas a dificultar la comprensión pública y a diluir responsabilidades. En este contexto, la tecnología se convierte frecuentemente en un mecanismo utilizado por gobiernos y organizaciones para evitar asumir directamente determinadas decisiones.

A partir de referencias al universo kafkiano, describió el riesgo de construir sistemas donde “no hay nadie al otro lado”: estructuras tecnológicas opacas ante las cuales los ciudadanos no encuentran interlocutores capaces de explicar o justificar las decisiones adoptadas. Esta lógica se agrava cuando la tecnología añade capas crecientes de distancia entre las personas y los procesos que organizan su vida cotidiana. Cuanto mayor es la eficiencia del sistema, mayor suele ser también la desconexión respecto a aquello que ocurre detrás de la interfaz tecnológica.

Frente a ello, defendió la necesidad de que los algoritmos de toma de decisiones sean públicos, auditables y estén sometidos a responsabilidades humanas claras. Lucía Ortiz de Zárate coincidió en la importancia de la transparencia, aunque advirtió que no basta con hacer públicos los sistemas: también deben ser explicables y comprensibles. La ciudadanía necesita entender cómo y por qué se toman determinadas decisiones para poder cuestionarlas, aceptarlas o rechazarlas democráticamente.

¿Estamos pensando ya como máquinas?

La conversación concluyó con una reflexión sobre la formación humanística de ingenieros y responsables de toma de decisiones. El problema de fondo, señalaron los participantes, no es únicamente cuándo las máquinas llegarán a pensar como los seres humanos, sino cuándo los seres humanos hemos empezado ya a pensar como máquinas.

Juan Antonio Cordero Fuertes sostuvo que la inteligencia artificial representa la culminación de un modelo civilizatorio basado en la protocolización de problemas: convertir tareas complejas en procedimientos repetibles y automatizables. La IA no transforma radicalmente nuestra civilización, sino que lleva hasta sus últimas consecuencias una lógica que las sociedades industriales vienen desarrollando desde hace siglos. La verdadera cuestión no es únicamente qué hará la máquina, sino qué haremos nosotros con la capacidad excedente que genera.

Lucía Ortiz de Zárate cuestionó, por su parte, la tendencia contemporánea a conceder automáticamente legitimidad a cualquier innovación tecnológica bajo la promesa de que sus posibles daños podrán corregirse en el futuro. Tal vez, propuso, deberíamos invertir el razonamiento: comenzar preguntándonos qué tipo de sociedad queremos construir y solo después decidir qué tecnologías son compatibles con ella. No todas las tecnologías, advirtió, son necesariamente coherentes con ideales de libertad, igualdad o justicia.

En este contexto, ambos coincidieron en la importancia de incorporar formación humanística en el desarrollo tecnológico y en la toma de decisiones empresariales y políticas. Sin embargo, Lucía recordó que la responsabilidad no recae únicamente sobre ingenieros o científicos: existen múltiples actores implicados —empresas, gobiernos, inversores y reguladores—, aunque algunos posean una capacidad mucho mayor que otros para orientar el rumbo tecnológico de nuestras sociedades.

Deliberación

Basado en la ponencia arriba, os invitamos a responder a estas preguntas de deliberación.

Preguntas para la deliberación

1. ¿Para qué consideras que puede ser útil utilizar la IA en tu organización? Las deliberaciones pusieron de manifiesto un amplio consenso respecto a la utilidad práctica que la inteligencia artifici