La Universidad de Deusto y Bikolabs se han puesto manos a la obra para investigar como la Inteligencia Artificial impacta en la toma de decisiones que nos afectan para mal a los humanos y han determinado que, en efecto, es peligrosa, por lo que es imprescindible y necesario investigar cómo los humanos pueden convertirse en salvaguarda ante decisiones algorítmicas erróneas o sesgadas.
El estudio, realizado en la prestigiosa institución privada vasca no solo ofrece una visión detallada de cómo la IA influye en las decisiones (tanto judiciales, como en todas aquellas en las que humanos e IA interactúen), sino que también plantea importantes preguntas sobre la implementación de sistemas automatizados.
Este trabajo de absoluto interés y actualidad se ha llevado a cabo por los investigadores de la empresa Bikolabs (JAKALA), especializada en tecnologías de marketing, que impulsa la transformación digital mediante el análisis de datos y la tecnología con un «toque humano», según su propia definición, y con la colaboración de la Universidad de Deusto.
ofrece una visión detallada de cómo la IA influye en las decisiones (tanto judiciales, como en todas aquellas en las que humanos e IA interactúen), sino que también plantea importantes preguntas sobre la IA
Según explican, han partido de la idea de que en la actualidad «estamos en un mundo donde la tecnología avanza rápidamente, la IA está desempeñando un papel cada vez más prominente en la toma de decisiones en diversos ámbitos. Por esta razón, querían determinar hasta dónde los algoritmos de IA se están integrando cada vez más en los procesos de toma de decisiones del sector público, y qué ocurría cuando estos algoritmos cometen errores, que es de lo más habitual.
Como primera conclusión, sugiere que la supervisión humana en estos procesos, conocidos como procesos «human-in-the-loop«, puede verse afectada si la IA proporciona un soporte algorítmico incorrecto. Y es que, como la incorporación de sistemas automatizados de apoyo a la toma de decisiones se ha vuelto cada vez más común, estos algoritmos influyen en el juicio humano, por lo que la confianza excesiva en el apoyo algorítmico incorrecto puede disminuir la precisión de las decisiones.
LA IA Y EL SESGO DE AUTOMATIZACIÓN
Según indican los investigadores, estas incorrecciones se llaman sesgo de automatización y responden a la tendencia humana a depender en exceso de los sistemas automatizados, incluso cuando estos cometen errores. Los investigadores diseñaron dos experimentos simulando procesos automatizados de toma de decisiones en el ámbito judicial, donde los participantes tenían que juzgar a varios acusados de diferentes delitos.
Los resultados mostraron que el juicio humano fue más acertado cuando se emitió antes de recibir un apoyo incorrecto de la IA. Sin embargo, una vez que los participantes vieron una evaluación errónea de la IA, la tasa de acierto se redujo, incluso en aquellos que habían juzgado correctamente al principio del proceso. Es decir, que los humanos nos fiamos más de las máquinas que de nosotros mismos.
Los resultados mostraron que el juicio humano fue más acertado cuando se emitió antes de recibir un apoyo incorrecto de la IA. Sin embargo, una vez que los participantes vieron una evaluación errónea de la IA, la tasa de acierto se redujo
Esto ha sido todo un hallazgo, y no para bien, porque pone de de relieve la influencia potencialmente perjudicial del apoyo de IA incorrecto en la precisión de las decisiones humanas, y subraya la importancia del orden en el que se presenta la información.
La investigación también reveló un desafío persistente: la tendencia humana a confiar excesivamente en el apoyo de los sistemas, lo que puede llevar a los usuarios a aceptar sin crítica alguna las recomendaciones de la IA, incluso cuando son erróneas, lo que plantea grandes preocupaciones sobre la equidad, la corrección y la ética de las decisiones automatizadas.
La IA tiene un gran potencial a la hora de optimizar la toma de decisiones, si, pero según el estudio, puede hacer daño a la humanidad si los humanos no estamos pendientes de «mitigar el impacto de sus errores y sesgos para asegurar procesos de decisión justos y precisos», según establece la investigación.
el estudio advierte de la importancia de ser muy cuidadosos a la hora de diseñar e implementar los sistemas de IA, y enfatiza la necesidad de una supervisión humana informada y crítica
Esta pone de ejemplo un caso concreto; el sistema RisCanvi, utilizado para evaluar el riesgo de reincidencia de los reclusos en Cataluña, que ha sido objeto de debate en el ámbito judicial, porque se detectó una «discrepancia» del 3.2% entre la opinión de los funcionarios gubernamentales y el algoritmo del sistema. Aunque RisCanvi muestra una capacidad predictiva positiva del 18%, lo que indica que solo dos de cada diez reclusos clasificados como de alto riesgo reinciden, esta limitación no es evidente para quienes lo utilizan. Así, los sistemas de evaluación de riesgos no son infalibles, y pueden acarrear problemas.
El responsable del área de tecnología e Investigación de Jakala, Karlos G. Liberal y la investigadora Ujúe Agudo confirman que hay que seguir investigando y auditando a la IA. «Nuestro trabajo muestra la relevancia de seguir investigando sobre el impacto de la interacción entre humanos y sistemas de ayuda a decisión. Aunque se están comenzado a realizar auditorías de este tipo de sistemas, su foco suele centrarse en la parte más técnica. Por ello, seguimos necesitando descubrir cuál debería ser ese proceso de interacción entre humanos e IA que realmente derive en mejores decisiones», según han explicado.
La investigación de la Universidad de Deusto además de arrojar luz sobre «los desafíos inherentes a la interacción humano-IA, muestra como optimizar esta colaboración de la que ya no podemos echarnos atrás, pero de la que debemos mejorar la precisión y la justicia en decisiones críticas». Así, destaca que la importancia de ser muy cuidadosos a la hora de diseñar e implementar los sistemas de IA, y enfatiza la necesidad de una supervisión humana informada y crítica.
