¿La mayoría siempre tiene la razón? La inteligencia artificial ayuda a corregir sesgos

La “sabiduría de la multitud” asegura que el promedio de las soluciones que aporta un grupo a un problema es mejor que cualquiera, o casi cualquiera, que las que ofrecen sus miembros por separado. Pero no siempre podemos fiarnos de esta teoría; en ocasiones, la inteligencia individual es más “sabia” que la colectiva. Aunque el grupo estuviera formado por los individuos más inteligentes, esto no garantizaría que fueran capaces de colaborar de forma eficiente.

La inteligencia artificial ayuda a corregir el sesgo: contribuye a detectar patrones que pasan por alto al ojo humano y a los métodos estadísticos tradicionales. Esto tiene numerosas aplicaciones prácticas hoy en día, pues cada vez hay más procesos en los que multitud de usuarios participan on line de forma simultánea para etiquetar grandes conjuntos de datos: marcar spam en el correo electrónico, clasificar vídeos de Youtube, detectar opiniones falsas en Amazon…

Gabriel Madirolas Pérez, doctor en Biofísica por la Universidad Autónoma de Madrid lo contó en el marco de un seminario organizado por el grupo de investigación ‘Mente-Cerebro’ del Instituto Cultura y Sociedad de la Universidad de Navarra

¿Qué es la inteligencia colectiva? 

En general, una manera de definir la inteligencia es como la capacidad para resolver un problema para el que tenemos información limitada y que requiere elaborar una respuesta no automatizada, combinando de manera creativa lo aprendido de experiencias pasadas.

Bajo este enfoque, la inteligencia colectiva se entiende como la capacidad de un grupo o colectivo para alcanzar soluciones de una precisión o incluso de una naturaleza tal que serían imposibles o altamente improbables para un individuo solo.

El concepto se puede aplicar a muchísimas situaciones: la toma de decisiones por consenso en un grupo, la organización una ciudad, las predicciones sobre la evolución los mercados de valores, el crowdsourcing (cuando el público general es invitado a aportar ideas o trabajo), y plataformas como Google y Wikipedia.

¿Cómo se relaciona con la inteligencia individual de las personas que conforman un grupo?

Se podría dar el hecho de que un grupo esté formado por individuos muy inteligentes o válidos, pero que no colaboren de manera eficiente. Como grupo resolverían la tarea peor que otro compuesto por individuos menos válidos individualmente, pero que colaboraran mejor, o que se complementaran. Incluso se defiende que existe un factor de inteligencia colectiva, similar al cociente intelectual de un individuo, que cuantificaría la habilidad de un grupo de personas para resolver tareas variadas.

Hay que mencionar que, aunque normalmente se piensa en grupos o sociedades humanas, el concepto se puede utilizar de una manera muy amplia. Consideremos la compleja organización de las colmenas de abejas, o esas hormigas que forman puentes engarzándose las unas con las otras, de manera que salvan hendiduras en el terreno, lo que les permite formar largas autopistas por terrenos accidentados.

Se podría dar el hecho de que un grupo esté formado por individuos muy inteligentes o válidos, pero que no colaboren de manera eficiente.

En un seminario del ICS presentó un modelo de toma de decisiones en grupos de humanos. ¿De qué modo ayuda a cuantificar la influencia del comportamiento de los demás en las decisiones individuales?

El modelo surgió para explicar los resultados de un artículo en el que Jan Lorenz y Heiko Rauhut pedían a los sujetos que estimaran algunas cantidades de las que resulta difícil tener una idea más que aproximada, salvo que seas un experto. Por ejemplo, se les preguntaba la longitud de la frontera entre Suiza e Italia, o el número de asesinatos cometidos en Suiza durante el año 2006.

Primero los sujetos respondían individualmente, y sin utilizar ningún ordenador o móvil. Después se les mostraban las respuestas que algunos compañeros habían dado a las mismas preguntas y se les permitía hacer una siguiente estimación utilizando a su voluntad la nueva información que acababan de recibir.

Para explicar cómo los individuos combinan sus conocimientos previos con la nueva información sobre lo que creen los demás, utilizamos la estadística Bayesiana. Se trata de un enfoque muy natural, en el que se modeliza cómo cambia la probabilidad de cada una de las respuestas posibles cuando se añade nueva información (es decir, conocimiento). En nuestro caso concreto, asumíamos que los sujetos tienen interiorizada de algún modo una probabilidad de ser correcta para todo el abanico de respuestas posibles. Entonces, al conocer las respuestas de los demás, el individuo tenderá a incrementar la probabilidad de las opciones compatibles con lo que los otros sujetos hayan dicho.

Algunos sujetos incrementarán en mayor medida la probabilidad cercana a las respuestas que han dado los demás. Esto lo podemos medir por cómo cambia ese sujeto su respuesta cuando se le repite la pregunta después de recibir la “información social”.

El cerebro no trabaja con certezas y, por lo tanto, muchas veces no puede hallar la respuesta óptima con un cien por cien de confianza.

Por supuesto, los modelos que tratan del procesamiento de la información por el cerebro como cálculos de probabilidad son aproximaciones a una realidad imposible de comprender en su totalidad. Nadie se maneja asignando números con decimales a la probabilidad de cada opción que tiene. Pero estos modelos resultan interesantes en la medida en que reflejan que el cerebro no trabaja con certezas y, por lo tanto, muchas veces no puede hallar la respuesta óptima con un cien por cien de confianza.

Por eso creo que a través de la selección natural se ha favorecido un funcionamiento del cerebro que, ante situaciones idénticas, no va siempre a producir soluciones idénticas. Y esto es beneficioso porque la variedad de respuestas garantiza que algunos sujetos den con la correcta o, al menos, que el promedio de la población dé con una respuesta suficientemente satisfactoria.

Gabriel Madirolas es doctor en Biofísica.

Uno de los trabajos que ha publicado, Rescuing Collective Wisdom When the Average Group Opinion is Wrong, explora cómo técnicas de machine learning pueden ayudar a “rescatar” la inteligencia colectiva cuando la opinión media del grupo es errónea. ¿Cuáles fueron las conclusiones?

Hablamos de un fenómeno que se engloba a menudo dentro la inteligencia colectiva, aunque los individuos que participan no interaccionan en ningún momento entre ellos. Se trata del hecho de que, promediando las soluciones de muchos individuos, se llega muchas veces a una solución muy cercana a la correcta (u óptima, en lenguaje matemático). Esto puede ser debido a que, al tener un tamaño de muestra muy grande, se elimina el ruido estadístico propio de cualquier experimento.

Pero me parece mucho más interesante la opción de que se deba a la compensación de tendencias dentro de la población que se desvían de la solución correcta. Algunos individuos utilizarán un tipo de métodos para responder a las cuestiones y esto producirá una tendencia. Otros individuos utilizarán otros métodos con otras tendencias, que quizás vayan en sentido contrario. Lo que al final se está consiguiendo al reunir a muchos individuos es un promedio de las distintas aproximaciones a un problema.

Ya en el siglo XVIII el marqués de Condorcet demostró matemáticamente lo que se conoce como teorema del jurado. Este resultado básicamente expresa el hecho de que un jurado donde los miembros eligen independientemente la opción que consideran correcta y luego la someten a votación tiene más probabilidades de proporcionar el veredicto correcto cuantas más personas lo compongan.

“Wisdom of crowds”: un científico inglés se dio cuenta en una feria ganadera de que el promedio de las estimaciones de los asistentes predecía mejor el peso real de un buey  que las estimaciones individuales. 

El ejemplo que se puede considerar fundacional de todo el campo de investigación fue presentado por Francis Galton a comienzos del siglo XX. El científico inglés acudió a una feria ganadera. En ella tenía lugar un concurso cuyo ganador sería aquel que estimara con menor error el peso de un buey que todos los asistentes podían contemplar. Galton recopiló las estimaciones de las cerca de 800 personas que participaron. Se dio cuenta de que el promedio de todas ellas predecía el peso real del buey mejor que cualquiera de las estimaciones individuales.

El efecto de que el promedio de las estimaciones de un grupo sea mejor que cualquiera, o casi cualquiera de los individuos, es lo que hoy se conoce como wisdom of crowds. Fue comentado con gran repercusión en el libro homónimo de James Surowiecki.

¿Hasta qué punto debemos confiar en el promedio?

En nuestro artículo se revisan situaciones en las que promediar sin más las opiniones de la gente no es suficiente para obtener un buen resultado. Como ya he mencionado, uno de los argumentos en favor de promediar las opiniones o votos de una mayoría es que de ese modo se explota la diversidad del grupo y, como se dice en lenguaje matemático, se “cancelan los errores”. Si unos se equivocan en una dirección y otros en otra, el promedio rondará la solución correcta. Pero para que esta diversidad sea realmente beneficiosa se asume que los individuos son independientes, en el sentido por ejemplo de que no hay intercambio de información entre ellos.

En el artículo se discutía que esta suposición de independencia y de promediar individuos independientes no siempre es la solución óptima. A veces es más útil darse cuenta de que existen corrientes de opinión (es decir, correlaciones entre individuos) o analizar las diferentes tendencias.

El trabajo también llamaba la atención sobre la importancia de saber qué tipo de coste tiene no dar con la solución óptima. Por ejemplo, si se calcula la cantidad de agua que cabe en una presa, está claro que el error por exceso puede ser mucho más dramático que el error por defecto. Otro ejemplo evidente es que, a la hora de diagnosticar una enfermedad potencialmente mortal, no es lo mismo un falso positivo que un falso negativo.

Hay circunstancias en las que debe prestarse atención al conocimiento de unos pocos si no se quiere pasar por alto información vital.

En el artículo, mi compañero de laboratorio Andres Laan también discutía el denominado many-eyes model (modelo de muchos ojos), que se aplica cuando hay circunstancias en las que debe prestarse atención al conocimiento de unos pocos si se quiere evitar pasar por alto información vital.

Un ejemplo del mundo natural se da en el comportamiento colectivo de grupos de animales que viven bajo la amenaza constante de depredadores (por ejemplo, una manada de gacelas en la sabana). En este caso, si uno o unos pocos individuos creen advertir un peligro, es más beneficioso para el grupo emprender la huida (a pesar del gasto de tiempo y energía que ello conlleva) que esperar a que la mayoría de los individuos compruebe directamente si el depredador está efectivamente al acecho.

¿En qué medida puede la inteligencia artificial ayudar a extraer el mejor conocimiento de la inteligencia colectiva?

En nuestro artículo se planteaba por ejemplo la tarea de estimar correctamente la fecha de un evento histórico. En un caso así, seguramente exista un subconjunto de individuos que conozca la respuesta con una precisión de unos pocos años. Podría ser mucho más efectivo entrenar una red neuronal para que identifique como se suelen distribuir las respuestas en una tarea así, y ser por tanto capaz de encontrar los subgrupos de individuos que contienen una mejor información. De nuevo, si lo único que estamos interesados es en una respuesta aproximada, puede ser suficiente con hacer la media de todas las respuestas.

La potencia de las redes neuronales es que son capaces de detectar las combinaciones más adecuadas.

En general lo que hace la inteligencia artificial es detectar, en un conjunto de datos, patrones que escapan tanto al ojo humano como a los métodos estadísticos tradicionales. Esto permite encontrar formas de combinar los datos de una manera más eficiente. Por ejemplo, si preguntas a los sujetos cuanto confían en su respuesta, cuál es su nivel de estudios y su experiencia previa en el tema sobre el que se está preguntando, no siempre la estrategia óptima será aquella que da más peso a la decisión del más confiado, con más estudios y más experiencia.

La potencia de las redes neuronales es que son capaces de detectar esas otras combinaciones más adecuadas.

¿En qué casos se puede aplicar?

En el artículo ya mostramos una aplicación práctica que consistía en buscar la manera óptima de combinar los diagnósticos de varios doctores, que además habían expresado su grado de confianza en cada una de sus respuestas. Evidentemente, este no es un caso donde el colectivo esté predominantemente equivocado. Por eso, la mejora que veíamos en el artículo no era muy grande (aunque estadísticamente significativa), lo cual, cuando se está hablando de incrementar el número de vidas que se salvan o se mejoran, siempre es una buenísima noticia.

De hecho, el campo del machine learning muchas veces se combina con el de la inteligencia colectiva. Se puede pedir a múltiples redes neuronales independientes que evalúen los mismos casos, y entonces comparar las opiniones de las diferentes redes.

En un ejemplo ya clásico en el que se analizaban biopsias de posibles casos de cáncer de pulmón (en un artículo de Zhou y colaboradores, del año 2002), se entrenó a un conjunto de redes neuronales de una manera que penalizaba mucho los falsos positivos (esto es, diagnosticar como cancerígena una muestra que en realidad no lo era). Una vez hecho esto, se estableció un criterio de full voting, en el cual solo se consideraba una muestra como sana si todas las redes la declaraban no cancerígena. El resultado final fue que este colectivo de redes neuronales predecía mejor que cada red de forma aislada.

¿Para qué se está utilizando en la actualidad?

Hoy en día se utiliza la participación online simultánea de multitud de usuarios (a través de plataformas como Mechanical Turk de Amazon) para etiquetar grandes conjuntos de datos. Es decir, en un primer paso se muestra a los sujetos uno a uno los elementos que tienen que clasificar o evaluar, para que ellos digan a qué categoría piensan que pertenece cada objeto. Una vez que se tienen miles de objetos clasificados, se introduce esta información en los algoritmos que se encargarán de clasificar automáticamente datos totalmente nuevos, pero similares a los etiquetados “manualmente”.

Esto se puede aplicar a la clasificación de spam en el mail, reconocimiento de caras y emociones, clasificación de vídeos de YouTube, reconocimiento de lenguaje hablado y escrito, detección de opiniones falsas en Amazon, o efectos secundarios de medicamentos, por poner algunos de entre cientos de ejemplos.

Un ejemplo reciente que me encanta es el estudio de Almudena Martín-Castro (UNED) e Iñaki Ukar (Universidad Carlos III de Madrid), en el que utilizaron técnicas de big data para analizar los tempos en 36 grabaciones de las sinfonías de Beethoven. Se dieron cuenta de que la tendencia promedio era interpretarlas a 12 pulsaciones por minuto más lentamente de lo que Beethoven originalmente indicó en sus partituras. Esto llevó a los autores del estudio a confirmar que Beethoven estaba leyendo de manera equivocada las marcas de velocidad del metrónomo original de Maelzel.

En otro de sus trabajos (Improving Collective Estimations Using Resistance to Social Influence) habla del aparente impacto negativo de la interacción social de la inteligencia colectiva. ¿Cuáles fueron las conclusiones del artículo?

En este artículo se presentó el modelo de estadística Bayesiana, del que hemos hablado previamente. Recordemos que se basaba en un experimento de otro grupo de investigación. Los autores de aquel trabajo original (Lorenz y Rauhut) ya detectaron que cuando se dejaba a la gente tener información sobre lo que estimaron los otros, el promedio de la opinión del grupo no cambiaba, pero las respuestas individuales de la gente se aproximaban a ese promedio, distanciándose de la respuesta correcta.

Básicamente la conclusión al aplicar nuestro modelo es similar a la de nuestros otros artículos: hay que tener en cuenta la individualidad para mejorar la estimación por encima de promediar simple y llanamente todas las respuestas.

Por otra parte, siempre conviene evaluar si es más beneficioso invertir tus recursos en reunir un amplio colectivo diverso, o invertir las energías en encontrar el reducido número de expertos.

¿Cómo es posible eliminar el sesgo de la “sabiduría de la multitud” a través de los individuos que se resisten ante la influencia social?

Hay dos maneras diferentes de establecer cuánta confianza tiene una persona en su opinión. Una es pedirle que nos lo comunique directamente, diciéndonos por ejemplo en una escala de uno a seis su grado de confianza en su respuesta. La otra es analizar cuánto cambia la opinión del sujeto cuando sabe lo que están opinando los demás.

Pues bien, lo interesante del modelo Bayesiano es que nos permitía cuantificar (medir) el peso que tenían en la decisión final de un sujeto tanto su opinión previa como la información de lo que habían opinado los demás. Esto nos daba una medida de cuanto había confiado el sujeto en su opinión inicial a través de su comportamiento. Lo que encontramos es que, si hacíamos el promedio de las opiniones de los sujetos que menos se habían movido de su opinión inicial con respecto a la del colectivo, eran más acertados que el promedio de la población.

Lo más interesante es que, si se seleccionaban los sujetos de acuerdo al otro criterio (los que habían declarado una mayor confianza en su respuesta en una escala de uno a seis), estos no se desviaban significativamente del error promedio de la población.

La moraleja es que, para encontrar sujetos más capaces es menos fiable preguntarles cuánto confían en su opinión que analizar cuanto se adhieren a ella en situaciones inciertas.

¿Qué implicaciones tiene esto en cuanto a la consideración de la individualidad en las dinámicas y las decisiones de un colectivo?

Creo que tener modelos de cómo varía la opinión individual cuando se permite la interacción con las opiniones de otros es esencial para predecir cómo va a evolucionar un colectivo. Por ejemplo, existe el fenómeno denominado information cascades. En él, individuos eligen secuencialmente, sabiendo lo que han respondido los anteriores, pero sin saber cuánto de consistente es la información que los otros poseían. Lo que se ve es que en muchos casos la gente comienza a decidir más guiada por lo que los demás han dicho que por su propia racionalidad o instinto.

El problema es que, si por cualquier motivo los pocos individuos que deciden primero tienen una opinión muy pobre o peligrosa, existe la posibilidad de que una multitud acabe opinando igual que ellos sencillamente por presión social.

Para encontrar sujetos más capaces es menos fiable preguntarles cuánto confían en su opinión que analizar cuanto se adhieren a ella en situaciones inciertas

Por otro lado, aunque se ha comprobado que promediar todas las opiniones de una población nos permite al menos aproximarnos a las mejores soluciones (y por eso se celebran elecciones), no hay que tener miedo de buscar grupos que con toda probabilidad vayan a aproximarse mejor a la solución correcta. Lo interesante es cómo encontrar esos individuos. Ya hemos visto que no vale sólo con preguntarle a la persona cuánto cree que sabe, y que utilizar métodos estadísticos y de análisis del comportamiento puede ser de gran ayuda.

Por ejemplo, si en un grupo hay individuos con un gran conocimiento del tema a solucionar, sabrán que algunas respuestas de otros individuos muy alejadas de la suya propia no tendrán sentido, y no se dejarán influir por ellas. Sin embargo, si las respuestas de los otros no le parecen tan disparatadas, sí las combinarán con las suyas.

Ser capaces de deducir qué tipo de individuos se comportan de qué manera, puede ser muy útil a la hora de averiguar si la opinión colectiva se está moviendo en una dirección que mejora la anterior, o si está siendo guiada por caminos equivocados.

Autora: María Isabel Solana

(Imágenes: Vector de Fondo creado por rawpixel.com – www.freepik.es / Iberdrola)

 

Responder

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión /  Cambiar )

Google photo

Estás comentando usando tu cuenta de Google. Cerrar sesión /  Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión /  Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión /  Cambiar )

Conectando a %s