Este experto busca resolver la ecuación ética de la tecnología




Esta historia se publicó originalmente en nuestra edición de julio/agosto de 2022 como «La ecuación ética». haga clic aquí para suscribirse para leer más historias como esta.


Las decisiones de vida o muerte no se toman muy a menudo, a menos que sea médico. Incluso la elección rutinaria de ordenar o no otra prueba podría significar la diferencia entre detectar un tumor canceroso temprano o dejar que se propague. Durante la pandemia de COVID-19, los médicos se vieron obligados a decidir qué pacientes deberían tener acceso a los ventiladores que escaseaban. Grandes o pequeñas, decisiones como estas requieren consideraciones éticas que rara vez son simples. Ahora, con el rápido aumento de la IA en la medicina, ha surgido una pregunta urgente: ¿Pueden los sistemas de IA tomar decisiones médicas éticas? E incluso si pueden, ¿deberían hacerlo?

Hoy en día, la mayoría de los sistemas de inteligencia synthetic funcionan con aprendizaje automático, donde los algoritmos que consumen muchos datos aprenden automáticamente patrones a partir de la información con la que están capacitados. Cuando se ingresan nuevos datos en los algoritmos, emiten una decisión basada en lo que han obtenido. Pero saber cómo llegaron a su decisión puede ser un desafío cuando todo lo que se encuentra entre su entrada y salida es una vertiginosa serie de cálculos opacos e ininterpretables.

Para conocer el estado precise de la toma de decisiones éticas de la IA en medicina, Uncover habló con Brent Mittelstadt, un filósofo especializado en IA y ética de datos en el Instituto de Web de Oxford, Reino Unido.

P: En primer lugar, ¿es posible saber exactamente cómo un algoritmo toma una decisión médica?

BM: Sí, pero depende del tipo de algoritmo y su complejidad. Para algoritmos muy simples, podemos conocer toda la lógica del proceso de toma de decisiones. Para los más complejos, podría estar trabajando potencialmente con… cientos de miles o millones de reglas para la toma de decisiones. Entonces, ¿puedes mapear cómo se toma la decisión? Absolutamente. Esa es una de las mejores cosas de los algoritmos: usted [often] puede ver cómo estas cosas están tomando decisiones. El problema, por supuesto, es cómo convertir eso en algo que tenga sentido para un humano. Porque normalmente podemos tener entre cinco y nueve cosas en nuestra mente en un momento dado cuando estamos tomando una decisión, mientras que el algoritmo puede tener millones y puede tener interdependencias entre ellos. … Es un desafío muy difícil. Y tiendes a tener una compensación entre cuánto del algoritmo puedes explicar y qué tan verdadera es esa explicación, en términos de capturar el comportamiento precise del sistema.

P: ¿Es eso un problema ético en sí mismo, que tal vez no entendamos mucho de cómo están tomando estas decisiones?

BM: Sí, creo que puede ser. Tengo la creencia de que si se toma una decisión que cambiará tu vida, entonces deberías tener acceso a una explicación de esa decisión, o al menos, alguna justificación, algunas razones por las que se tomó esa decisión. De lo contrario, corre el riesgo de tener un sistema al estilo de Kafka en el que no tiene concept de por qué le suceden las cosas. … No puedes cuestionarlo, y no puedes obtener más información al respecto.

Tal vez tenga un sistema que está ayudando al médico a llegar a un diagnóstico y le está dando una recomendación que cube: «Tengo un 86 por ciento de confianza en que es COVID-19». En ese caso, si el médico no puede tener un diálogo significativo con el sistema para comprender cómo llegó a esa recomendación, entonces se encuentra con un problema. El paciente confía en que el médico actuará en su mejor interés, pero el médico tomaría decisiones sobre la base de la confianza de que el sistema es tan preciso o seguro como afirma el fabricante.

P: ¿Puede dar un ejemplo de un tipo de decisión ética que un sistema de IA podría tomar por un médico?

BM: Dudaría en decir que habría un sistema de IA que tomaría directamente una decisión ética de cualquier tipo, por varias razones. Una es que hablar de un sistema automatizado atractivo en el razonamiento ético es extraño. Y no creo que sea posible. Además, los médicos dudarían mucho en ceder su poder de decisión a un sistema por completo. Tomar la recomendación de un sistema es una cosa; seguir esa recomendación a ciegas es algo completamente diferente.

P: ¿Por qué cree que es imposible que la IA participe en un razonamiento ético?

BM: Supongo que la forma más sencilla de decirlo es que, al closing del día, estos son sistemas automatizados que siguen un conjunto de reglas. Y esas pueden ser reglas sobre cómo aprenden sobre las cosas, o pueden ser reglas de toma de decisiones que están preprogramadas en ellos. Entonces, digamos que usted y yo acordamos a través de la discusión que… en sus acciones, debe producir el mayor beneficio posible para la mayor cantidad de personas. Lo que podemos hacer entonces es diseñar un sistema que siga esa teoría. Solamente [that system] es, a través de todo su aprendizaje, a través de toda su toma de decisiones, tratar de producir el mayor beneficio posible para el mayor número de personas. No dirías que ese sistema, al aplicar esa regla, está participando en algún tipo de razonamiento ético, o creando una teoría ética, o haciendo lo que llamaríamos toma de decisiones éticas en humanos, donde puedes ofrecer razones y pruebas y tener una discusión sobre lo que es normativamente correcto.

Pero puedes hacer un sistema que parezca que está tomando decisiones éticas. Recientemente hubo un buen ejemplo. Period esencialmente un sistema en el que tenía un montón de reglas para la toma de decisiones que estaban definidas por la sabiduría de la multitud. Y la gente inmediatamente comenzó a probarlo, tratando de descifrarlo y descubrir cuáles eran sus reglas internas. Y se dieron cuenta de que, siempre y cuando termines la oración con [a phrase like] “produce la mayor felicidad posible para todas las personas”, entonces el sistema le diría que cualquier cosa que proponga es completamente ética. Podría ser un genocidio, y mientras [it was worded to suggest that] el genocidio crea la mayor felicidad para el mayor número de personas el sistema diría, sí, eso es ético, adelante y hágalo. Entonces, estos sistemas son, al menos cuando se trata de razonamiento ético, incapaces de hacerlo. Son éticamente estúpidos. No es algo en lo que realmente puedan participar, porque no estás hablando solo de hechos objetivos. Estás hablando de normas y subjetividad.

Lanzado en 2016, Ethical Machine fue un experimento en línea que mostró una serie de dilemas morales que podría enfrentar un vehículo autónomo. Se pidió a personas de todo el mundo que juzgaran qué decisión sería la más aceptable. Se registraron alrededor de 40 millones de respuestas como una forma de principios inaceptables para la ética de las máquinas. (Crédito: www.moralmachine.web)

P: Si los sistemas de IA no pueden participar en un razonamiento ético auténtico por sí mismos, ¿se están utilizando otros enfoques para enseñarles qué hacer con un componente ético de una decisión?

BM: Estaba el experimento de la Máquina Ethical. Así que ese fue un estudio world muy grande del MIT, donde construyeron este sitio internet y una herramienta de recopilación de datos que se basó en el experimento psychological Trolley Drawback. Y la concept period que personas de todo el mundo pasaran por varios escenarios sobre qué carril debería elegir un automóvil autónomo. En un carril, podría tener una anciana y un bebé. En el otro carril, tendrías un perro… Podrías recopilar un montón de datos que te dijeran algo sobre las preferencias morales o la ética de las personas en normal.

Pero la clave aquí es que el enfoque adoptado fue esencialmente [creating] reglas morales de toma de decisiones para robots o para autos autónomos a través de la sabiduría de la multitud, a través de un enfoque de reglas mayoritarias. Y eso, para mí, es perverso cuando se trata de ética. Porque la ética no es solo lo que la mayoría piensa que es correcto. Se supone que debes justificar tus razones con evidencia o racionalidad o solo razonamiento. Hay muchas cosas diferentes que pueden hacerte aceptar un argumento ético. Pero el punto es que se trata de la argumentación y la evidencia, no solo de la cantidad de personas que creen algo.

P: ¿Qué otras preocupaciones éticas tiene sobre el uso de la IA en la toma de decisiones médicas?

BM: En medicina, es un hecho bien conocido que existen brechas de datos muy importantes, en el sentido de que gran parte de la medicina históricamente se ha desarrollado en torno a la concept de un cuerpo masculino blanco. Y tienes peores o menos datos para otras personas: para mujeres, para personas de colour, para cualquier tipo de minoría étnica o grupo minoritario en la sociedad. … es un problema al que se ha enfrentado la investigación médica y la toma de decisiones médicas durante mucho tiempo. Y si estamos entrenando a nuestro médico [AI] sistemas con datos históricos de la medicina, que por supuesto que vamos a hacer, porque esos son los datos que tenemos, los sistemas detectarán esos sesgos y pueden exacerbar esos sesgos o crear nuevos sesgos. Así que eso es muy, muy claramente un problema ético. Pero eso no se trata de que el sistema se involucre en un razonamiento ético y diga: «Sabes qué, quiero desempeñarme peor para las mujeres que para los hombres». Es más que hay prejuicios en la sociedad, y el sistema lo está captando, inevitablemente lo estamos replicando y exacerbando.

Si nos involucramos en este tipo de pensamiento, en el que pensamos en estos sistemas como mágicos u objetivos, porque son caros o están entrenados con los mejores datos, [or] no tienen ese sesgo humano incorporado, todo eso es una tontería. Están aprendiendo de nosotros. Y hemos creado un mundo sesgado y un mundo desigual.

Esta entrevista ha sido editada y resumida para mayor claridad.