Modelización basada en agentes como herramienta actual de predicción

Una nueva bola de cristal para predecir el comportamiento de los consumidores e inversores

El modelado basado en agentes proporciona información sobre el complejo comportamiento de grandes grupos de personas, como consumidores, votantes e inversores.



El modelado basado en agentes turboalimentado por la computación en la nube tiene un papel creciente en las finanzas y la regulación. Foto: David Plunkert


Por Paul J. Davies || Wall Street Journal


E.W. Scripps Co. tuvo un gran año en 2018 para la publicidad política en su red de estaciones de TV locales. Su nuevo enfoque de las ventas de anuncios políticos ayudó a casi duplicar sus ingresos en el sector en comparación con las elecciones previas de mitad de período en 2014.

Detrás de estas ganancias se encontraba una forma de análisis de mercado denominada modelado basado en agentes, que puede mostrar cómo interactúan entre sí diferentes tipos de personas, empresas o inversores, y pueden reaccionar a las cosas que les suceden. Ayudó a E.W. Scripps asesoró a los gerentes de campañas políticas sobre cómo obtener el mejor provecho de su inversión, y está ayudando a un número creciente de otras compañías a entender sus mercados.

"Nuestro objetivo es simular la forma en que los consumidores toman decisiones", dice Dejan Duzevik, director de productos de Concentric Inc., una compañía de modelos con sede en Cambridge, Massachusetts, que ayudó a E.W. Scripps. "Muchas empresas están haciendo esto para ver si pueden atraer nuevos consumidores a su mercado". Los clientes de Concentric han incluido a Microsoft Corp., Toyota Motor Corp. y Whirlpool Corp., así como a empresas de publicidad como Havas.

El modelado basado en agentes también tiene un papel creciente en las finanzas y la regulación, particularmente como una forma de entender cómo las crisis y los pánicos se extienden en los mercados, cosas que los modelos económicos tradicionales y simplificados no pueden ver.

La economía tradicional y el análisis de mercado miden las diferencias entre los individuos para llegar a un representante del grupo, que normalmente se espera que actúe racionalmente. Esto crea modelos elegantes que pueden producir respuestas simples para los investigadores, y predicciones simples de lo que las personas harán. Sin embargo, como un mapa dibujado crudamente, los modelos tradicionales son útiles para algunos propósitos, pero no logran coincidir con la realidad en una resolución más fina. En contraste, los modelos basados ​​en agentes pueden representar muchos tipos diferentes de individuos con una amplia variedad de deseos y necesidades al mismo tiempo, y ofrecen una amplia gama de posibilidades de cómo actuarán, lo cual es mucho más realista. Pero con el realismo viene la complejidad y predicciones que a menudo son menos específicas.
Pruebas de crisis

Los reguladores financieros están ejecutando este tipo de modelos para ver cómo se propagan las crisis: con qué rapidez y en qué medida un shock en un mercado o clase de activos puede propagarse a otras partes del sistema financiero. Intentan identificar puntos débiles en el sistema financiero, por ejemplo, en bancos, casas de compensación o fondos del mercado monetario, y luego probar regulaciones o políticas que podrían reforzar esos puntos débiles y hacer que el sistema financiero sea más resistente.

Richard Bookstaber, un gerente de riesgo financiero, académico y autor que construyó un modelo de este tipo para el Tesoro de los Estados Unidos después de la crisis financiera mundial de 2008, dice que el modelado basado en agentes funciona bien para las crisis financieras porque en esos momentos los inversores y los operadores se vuelven más adversos al riesgo. lo que los obliga a seguir reglas de comportamiento que son más fáciles de discernir. Los científicos llaman a estas reglas de comportamiento heurísticas. En tiempos normales, los inversores y los comerciantes a menudo cambian de comportamiento o disfrazan las preferencias cuando eso podría ayudarles a ganar dinero.

"No puedes usar modelos basados ​​en agentes si no conoces a los agentes o sus heurísticas", dice Bookstaber. Y eso usualmente hace que el modelado financiero sea más difícil. "Las heurísticas y las preferencias son más estables en el mundo del consumidor", dice. "No se beneficia al ocultar, mentir o cambiar sus preferencias de manera inesperada, mientras que lo hace en finanzas".

Estos modelos no son nuevos, pero en el pasado su uso estaba limitado por el número extremadamente alto de cálculos que realizan para recrear el complejo comportamiento de grandes grupos de personas. La potencia de cómputo necesaria para realizar rápidamente esos cálculos solo se ha hecho accesible a bajo costo en los últimos años a través de la computación en la nube. La creciente cantidad de datos recopilados también ha ayudado a que el modelado basado en agentes sea una herramienta mucho más viable comercialmente.

Todo esto es posible porque la enorme capacidad informática se ha vuelto ampliamente disponible con el crecimiento de la computación en la nube en los últimos años. Andrew Skates, fundador de Sandtable, una compañía de modelos con sede en Londres, dice que cuando comenzó en 2009, ejecutaría modelos en una serie de computadoras portátiles conectadas entre sí. "Durante un fin de semana, obtendríamos 50 horas de tiempo de computadora en 10 procesadores, lo que equivale a 500 horas de computadora", dice. En una semana reciente, "hicimos una carrera que fue de 50,000 horas de computadora, y eso ni siquiera es grande para nosotros".

Elecciones políticas

Michael O'Brien, vicepresidente de distribución en E.W. Scripps, dice que los modelos basados ​​en agentes le permiten a la compañía probar el impacto en los votantes de eventos como noticias, reuniones políticas, temores de seguridad o incluso el clima. El modelo se basa en múltiples conjuntos de datos, como las calificaciones de audiencia para programas de televisión, volúmenes de redes sociales, encuestas públicas y privadas y otra información para crear una imagen útil de las actitudes de los votantes en una carrera en particular.

El Sr. O'Brien dice que el modelo basado en agentes produce predicciones mucho mejores que las encuestas tradicionales solo sobre las formas más efectivas de alentar a los votantes a respaldar a un candidato. "Los gerentes de campaña nos dicen a quién quieren dirigirse, y podemos decir cuáles son las mejores oportunidades para dirigirse a esos votantes y cómo obtener las mejores tasas de conversión", dice.

Más allá de la política, las empresas de publicidad y productos de consumo utilizan los modelos basados ​​en agentes para generar predicciones acerca de qué mensajes publicitarios o estrategias de fijación de precios impulsarán a los rivales de la empresa, y cómo afectarán las opiniones y elecciones entre los consumidores. . Otra función importante es probar lo que podría suceder en caso de algún tipo de impacto en el mercado de una empresa. "Casi todos los clientes tienen algún escenario que comprueba el impacto de un shock exógeno", dice el Sr. Duzevik de Concentric. "Tenemos una broma al respecto: por lo general, es Amazon".

Una de las fortalezas de este modelado es que produce un rango de probabilidades en lugar de una simple prescripción sobre cómo proceder. David Teague, jefe de cartera para análisis de datos y productos en British Broadcasting Corp., dice que los modelos basados ​​en agentes no pronostican exactamente el futuro, pero sí le permiten explorar lo que podría suceder en un sistema complejo que sigue cambiando.

La BBC, la emisora ​​británica financiada por los contribuyentes, está desarrollando un modelo para probar cómo las diferentes combinaciones de programas de televisión atraerán a diferentes segmentos de la audiencia. Debido a que la compañía cuenta con fondos públicos, tiene funciones de servicio público y debe garantizar que el dinero de los contribuyentes se gaste en el mayor beneficio posible.

Como todos los modelos, dice Teague, los basados ​​en agentes solo pueden ser algo que ayude a informar la toma de decisiones en lugar de tomar decisiones por usted. "Es un balance de 'Esto me va a ayudar' en lugar de 'Esto va a responder todo por mí'", dice. "Con cualquier cosa, una vez que crees que responderá a todo por ti, es cuando te quedas despegado".

Videogames ayudan a la enseñanza de la Historia

Un curso de historia de pregrado que incorpora juegos de estrategia es solo el comienzo: las simulaciones por computadora permiten a las personas estudiar el pasado de una manera que nunca ha sido posible.

por Tecnología Emergente desde el arXiv

Una de las consecuencias extraordinarias de las técnicas de modelado por computadora es que permiten simular diversos fenómenos del mundo real con gran detalle.



La dinámica de los fluidos informáticos, por ejemplo, ha reemplazado en gran medida el uso de túneles de viento en muchas aplicaciones. Las simulaciones de redes sociales han cambiado la forma en que entendemos los atascos y el control de multitudes, así como la propagación de noticias falsas y enfermedades infecciosas. Y muchos juegos, como la serie Grand Theft Auto, Second Life y muchos otros, recrean el mundo real de manera que los jugadores puedan experimentar con realidades alternativas.

Pero mientras este fenómeno ha tenido una gran influencia en la ciencia, su impacto en las humanidades, y en particular en el estudio de la historia, ha sido menos marcado. Lo que crea algo de una oportunidad para los historiadores emprendedores. Varios juegos de computadora simulan eventos pasados ​​con un detalle cada vez mayor, lo que permite a los jugadores comprender mejor las fuerzas en el trabajo y explorar historias alternativas.

¿Podría este tipo de historia computacional cambiar la forma en que entendemos el pasado y las lecciones que nos ofrece hoy?

Hoy recibimos una respuesta gracias al trabajo de Mehmet Sükrü Kuran en la Universidad Abdullah Gul en Turquía y un par de colegas. Estos muchachos han desarrollado un curso de historia de pregrado en el que los estudiantes usan juegos de computadora históricos para comprender mejor su materia.

El proceso es sencillo. Durante los últimos cuatro años, Kuran y sus colegas han incorporado una variedad de juegos de computadora en su curso de historia para determinar cuál estimula mejor la discusión y mejora la comprensión de los estudiantes.

El curso cubre tres edades en la historia: la Edad Media, centrándose en el Gran Cisma en el mundo cristiano y la división entre sunitas y chiítas en el mundo islámico; la temprana edad moderna, incluyendo la Revolución Industrial; y la era moderna, esencialmente las dos guerras mundiales del siglo XX.

Kuran y sus colegas experimentaron con varios juegos, incluyendo la serie Civilization de Sid Meier de Firaxis, la serie Total War de Creative Assembly y los juegos Grand Strategy como Crusader Kings II, Europa Universalis IV y Hearts of Iron IV by Paradox. Interactivo.

Cada módulo del curso comenzó con una sesión de aprendizaje y discusión, seguido de una introducción al juego elegido. A los estudiantes se les dieron ciertas metas para alcanzar en el juego por su cuenta y luego se les pidió que escribieran sobre su experiencia comparándola con otras fuentes de información histórica.

Después de dos años, Kuran y compañía decidieron que una serie de juegos era claramente mejor para propósitos de aprendizaje. "Los juegos de la serie Grand Strategy brindaron la experiencia más completa debido a su nivel de detalle, alta precisión histórica y versatilidad en el modelado de diferentes culturas y naciones", dicen.

Así que continuaron su curso usando el juego Crusader Kings II para ayudar a estudiar el período medieval, Europa Universalis IV para ayudar a estudiar desde la temprana edad moderna hasta la era industrial, y Hearts of Iron IV para estudiar desde principios hasta mediados del siglo XX.

Después de cada sesión, los estudiantes tenían que escribir un blog de 500 palabras sobre su experiencia. Luego eligieron una época para especializarse y escribieron un ensayo de 3.000 palabras sobre la investigación que realizaron.
Kuran y sus colegas enumeran una amplia gama de ventajas para los estudiantes en esta forma de enseñanza. Por ejemplo, el juego les dio a los estudiantes una mejor comprensión de la geografía global y sus implicaciones políticas y económicas para las rutas comerciales y las cadenas de suministro militares.

Los juegos también enseñaron a los estudiantes sobre las complejas interacciones entre las fuerzas económicas, religiosas, tecnológicas, políticas y culturales, que desempeñan un papel crucial en todas las sociedades. En particular, los estudiantes aprendieron cómo las sociedades eran diferentes en el pasado y cómo esto afectaba los resultados. Ese cambio de ver los eventos desde un punto de vista moderno a verlos desde un punto de vista histórico es crucial. "Este cambio de perspectiva aumenta en gran medida su comprensión de ciertos eventos clave históricos", dicen Kuran y compañía.

Los juegos también dieron a los estudiantes una mejor experiencia. "La mayoría de los estudiantes informan que el aprendizaje de la historia a través de un videojuego tiene un componente inmersivo crítico", dice el equipo. Eso lleva a un mejor recuerdo y análisis de los eventos.

Kuran y sus colegas están claramente convencidos de que los juegos pueden jugar un papel importante en la comprensión de la historia. "Aunque requiere un cierto esfuerzo para establecer un curso de historia mundial tan mezclado, observamos que las ganancias superan los desafíos y permiten una experiencia de aprendizaje más profunda e inmersiva", dicen.

No es difícil ver por qué los estudiantes pueden disfrutar y beneficiarse de este enfoque. Pero esto es claramente el comienzo. La capacidad de simular el pasado con mayor detalle podría ser de gran valor para los propios historiadores. Los puntos de datos en la historia a menudo son escasos e inexactos, por lo que los historiadores tienen que llenar los vacíos. Los modelos de computadora son ideales para probar hipótesis y evaluar si encajan con puntos de datos conocidos.

Por supuesto, hay una gran diferencia entre las series de juegos como Civilization y Grand Strategy y las simulaciones científicas adecuadas. No menos importante es que los juegos son sistemas de caja negra que ofrecen poca o ninguna información sobre cómo funcionan o cómo modelan los eventos. Eso los hace difíciles de evaluar desde un punto de vista basado en la evidencia.

Un buen modelo debe permitir a los investigadores controlar los parámetros detrás de la simulación para que se pueda ajustar y para que los investigadores tengan una visión clara de cómo se procesan los datos de entrada.

Pero con este enfoque, los buenos modelos tienen un enorme potencial. De la misma manera que los modelos climáticos permiten a los científicos explorar diferentes maneras en que podemos influir en el clima, los buenos modelos de la historia podrían ayudar a los historiadores a estudiar resultados alternativos.

Una idea interesante es que hay ciertos puntos en la historia cuando las circunstancias aseguraron que podría haber un solo resultado, independientemente de cómo se comportaron los actores relevantes. Por ejemplo, en 1914 se piensa ampliamente que el mundo estuvo en el precipicio de la guerra; tanto, que el supuesto desencadenante del conflicto, el asesinato del archiduque Fernando en Sarajevo en 1914, fue intrascendente. Casi cualquier acto de importancia internacional podría haber llevado a Europa a la guerra en ese momento.

¿Pero es eso cierto? Los modelos de computadora deberían ser capaces de probar esta idea. Y si es verdad, ¿con qué frecuencia a lo largo de la historia las circunstancias han sido tales que no fue posible obtener resultados alternativos? ¿Cómo podemos usar este conocimiento para prevenir circunstancias similares?

Los lectores de este blog habrán estado siguiendo la aparición de la historia computacional como disciplina. Los estudiantes están empezando a beneficiarse. Y seguramente también surgirá una nueva generación de historiadores computacionales. La pregunta ahora es cómo esta nueva disciplina cambiará la forma en que entendemos nuestro pasado y utilizaremos este nuevo conocimiento para beneficiar nuestro futuro.


Ref: arxiv.org/abs/1805.00463 : History-Themed Games in History Education: Experiences on a Blended World History Course

1805 00463

Leer más publicaciones en Calaméo

Sobre por qué las redes neuronales funcionan tan bien en machine learning

El vínculo extraordinario entre las redes neuronales profundas y la naturaleza del universo

Nadie entiende por qué las redes neuronales profundas son tan buenas para resolver problemas complejos. Ahora los físicos dicen que el secreto está enterrado en las leyes de la física.

por Emerging Technology from the arXiv


En los últimos años, las técnicas de aprendizaje profundo han transformado el mundo de la inteligencia artificial. Una por una, las habilidades y técnicas que los humanos alguna vez imaginaron eran únicamente nuestras, han comenzado a caer en el ataque de máquinas cada vez más poderosas. Las redes neuronales profundas son ahora mejores que los humanos en tareas como el reconocimiento facial y el reconocimiento de objetos. Han dominado el antiguo juego de Go y han golpeado a los mejores jugadores humanos.

Pero hay un problema. No hay una razón matemática por la que las redes organizadas en capas deban ser tan buenas para estos desafíos Los matemáticos están desconcertados. A pesar del gran éxito de las redes neuronales profundas, nadie está muy seguro de cómo logran su éxito.

Hoy eso cambia gracias al trabajo de Henry Lin en la Universidad de Harvard y Max Tegmark en el MIT. Estos chicos dicen que la razón por la que los matemáticos se han sentido tan avergonzados es que la respuesta depende de la naturaleza del universo. En otras palabras, la respuesta está en el régimen de la física en lugar de las matemáticas.

Primero, configuremos el problema utilizando el ejemplo de clasificación de una imagen en escala de grises de megabits para determinar si muestra un gato o un perro.

Dicha imagen consta de un millón de píxeles que pueden tomar cada uno uno de 256 valores de escala de grises. Entonces, en teoría, puede haber 2561000000 imágenes posibles, y para cada una es necesario calcular si muestra un gato o un perro. Y, sin embargo, las redes neuronales, con solo miles o millones de parámetros, administran de alguna manera esta tarea de clasificación con facilidad.

En el lenguaje de las matemáticas, las redes neuronales funcionan al aproximar funciones matemáticas complejas con otras más simples. Cuando se trata de clasificar imágenes de gatos y perros, la red neuronal debe implementar una función que toma como entrada un millón de píxeles en escala de grises y genera la distribución de probabilidad de lo que podría representar.




El problema es que hay órdenes de magnitud más funciones matemáticas que redes posibles para aproximarse a ellas. Y sin embargo, las redes neuronales profundas de alguna manera obtienen la respuesta correcta.

Ahora Lin y Tegmark dicen que han averiguado por qué. La respuesta es que el universo está gobernado por un pequeño subconjunto de todas las funciones posibles. En otras palabras, cuando las leyes de la física se escriben matemáticamente, todas pueden ser descritas por funciones que tienen un conjunto notable de propiedades simples.

Así que las redes neuronales profundas no tienen que aproximarse a ninguna función matemática posible, solo un pequeño subconjunto de ellas.

Para poner esto en perspectiva, considere el orden de una función polinomial, que es el tamaño de su máximo exponente. Entonces, una ecuación cuadrática como y = x2 tiene orden 2, la ecuación y = x24 tiene orden 24, y así sucesivamente.

Obviamente, el número de órdenes es infinito y, sin embargo, solo un pequeño subconjunto de polinomios aparece en las leyes de la física. "Por razones que aún no se comprenden del todo, nuestro universo puede ser descrito con precisión por los hamiltonianos polinomiales de bajo orden", dicen Lin y Tegmark. Normalmente, los polinomios que describen las leyes de la física tienen órdenes que van de 2 a 4.

Las leyes de la física tienen otras propiedades importantes. Por ejemplo, generalmente son simétricos cuando se trata de rotación y traslación. Gira un gato o un perro 360 grados y se ve igual; Si se traduce a 10 metros o 100 metros o un kilómetro, se verá igual. Eso también simplifica la tarea de aproximar el proceso de reconocimiento de perros o gatos.

Estas propiedades significan que las redes neuronales no necesitan aproximarse a una infinidad de posibles funciones matemáticas, sino a un pequeño subconjunto de las más simples.

Hay otra propiedad del universo que las redes neuronales explotan. Esta es la jerarquía de su estructura. "Las partículas elementales forman átomos que a su vez forman moléculas, células, organismos, planetas, sistemas solares, galaxias, etc.", dicen Lin y Tegmark. Y las estructuras complejas a menudo se forman a través de una secuencia de pasos más simples.

Esta es la razón por la cual la estructura de las redes neuronales también es importante: las capas en estas redes pueden aproximarse a cada paso en la secuencia causal.

Lin y Tegmark dan el ejemplo de la radiación cósmica de fondo de microondas, el eco del Big Bang que impregna el universo. En los últimos años, varias naves espaciales han mapeado esta radiación en una resolución cada vez mayor. Y, por supuesto, los físicos se han preguntado por qué estos mapas toman la forma que tienen.

Tegmark y Lin señalan que cualquiera sea la razón, es sin duda el resultado de una jerarquía causal. "Un conjunto de parámetros cosmológicos (la densidad de la materia oscura, etc.) determina el espectro de potencia de las fluctuaciones de densidad en nuestro universo, que a su vez determina el patrón de radiación de fondo de microondas cósmico que nos llega desde nuestro universo temprano, que se combina con el primer plano. "Ruido de radio de nuestra galaxia para producir los mapas del cielo dependientes de la frecuencia que son grabados por un telescopio basado en satélites", dicen.

Cada una de estas capas causales contiene progresivamente más datos. Solo hay unos pocos parámetros cosmológicos, pero los mapas y el ruido que contienen están compuestos por miles de millones de números. El objetivo de la física es analizar los grandes números de una manera que revele los más pequeños.

Y cuando los fenómenos tienen esta estructura jerárquica, las redes neuronales hacen que el proceso de análisis sea mucho más fácil.

"Hemos demostrado que el éxito del aprendizaje profundo y barato no solo depende de las matemáticas sino también de la física, lo que favorece a ciertas clases de distribuciones de probabilidad excepcionalmente simples que el aprendizaje profundo se adapta únicamente al modelo", concluyen Lin y Tegmark.

Ese es un trabajo interesante e importante con implicaciones significativas. Las redes neuronales artificiales están famosamente basadas en las biológicas. Así que las ideas de Lin y Tegmark no solo explican por qué las máquinas de aprendizaje profundo funcionan tan bien, sino que también explican por qué los cerebros humanos pueden dar sentido al universo. La evolución se ha asentado de alguna manera en una estructura cerebral que es ideal para separar la complejidad del universo.

Este trabajo abre el camino para un progreso significativo en inteligencia artificial. Ahora que finalmente comprendemos por qué las redes neuronales profundas funcionan tan bien, los matemáticos pueden comenzar a explorar las propiedades matemáticas específicas que les permiten rendir tan bien. "Fortalecer la comprensión analítica del aprendizaje profundo puede sugerir formas de mejorarlo", dicen Lin y Tegmark.

El aprendizaje profundo ha dado pasos gigantescos en los últimos años. Con esta comprensión mejorada, la velocidad de avance está destinada a acelerar.

No ergódico

Complejidad computacional

Irreductibilidad computacional

Por qué es importante saber sobre el modelado de agentes

Por qué necesita saber sobre el modelado basado en agentes

Simone Gabbriellini
Sociólogo Computacional, Científico Senior de Datos
Linkedin


Ya sea la difusión global de un virus peligroso, el disturbio inesperado de una minoría étnica en un área urbana o la elección de una mayoría populista en el parlamento, es cada vez más difícil de entender (sin mencionar predecir) cómo se desarrollan los fenómenos sociales .

Los comportamientos colectivos no solo son difíciles de predecir: a menudo no son deseados a nivel del actor social. Cuando las acciones de muchos actores se acumulan, podemos observar patrones fuertes a nivel global que surgen como consecuencias no deseadas (eche un vistazo al modelo de segregación de Schelling aquí).

Los métodos avanzados de análisis son necesarios para desentrañar estos mecanismos complejos, mientras que los investigadores sociales y los profesionales se entrenan a menudo solo en estadísticas, econometría o métodos de observación clásicos.

Los experimentos mentales son un activo útil en la caja de herramientas de estos métodos avanzados: en un contexto comercial, esto equivale a llevar el análisis del nivel de correlaciones estadísticas a la causalidad, respondiendo a la pregunta: ¿por qué sucedió? Sin embargo, en lugar de acumular evidencia estadística para respaldar algunas hipótesis, los experimentos mentales permiten probar que nuestras hipótesis realmente despliegan las consecuencias que observamos.

Sin embargo, para explicar ese nivel de complejidad, necesitamos ayudar a nuestra intuición. Aquí, el modelado basado en agentes y la simulación por computadora pueden ayudarnos a comprender el surgimiento de estos patrones sociales complejos ya menudo no deseados al simular la interacción del agente en una computadora.

Un agente puede representar cualquier cosa, desde un nodo en una red hasta un cliente o una empresa. La idea es desenredar las propiedades y las reglas de comportamiento de estos agentes en su configuración específica, y luego ejecutar múltiples simulaciones para comprender la tendencia central del sistema: si lo que ves en silico es similar a lo que observas empíricamente, tu modelo puede ser un candidato para explicar (no solo describir) lo que observaste.

Puedes pensar en ti mismo como un cartógrafo construyendo un mapa: quizás una escala 1: 1 será demasiado detallada (y probablemente inútil), pero una escala demasiado pequeña no te ayudará a entender el mejor camino desde el lugar A hasta el lugar B. Como así como cada tarea requiere el mapa correcto, se necesita, por supuesto, un poco de experiencia para comprender el nivel correcto de abstracción para cada tarea de modelado específica.

¿Suena demasiado?

Bueno, el modelado basado en agentes de aprendizaje a menudo es difícil, pero si se introducen bien con ejercicios prácticos durante un entrenamiento intensivo, todos pueden aprender cómo realizar investigaciones computacionales avanzadas que importan.

Esto es lo que ofrecemos en BEHAVE Summer School en Modelado Basado en Agentes para Científicos Sociales, que se lleva a cabo en Brescia, Italia, del 3 al 9 de septiembre de 2018.

Infografía: Cola larga

Algoritmo de aprendizaje automático puede mostrar si los secretos de estado están clasificados correctamente

El algoritmo de aprendizaje automático puede mostrar si los secretos de estado están clasificados correctamente

AI podría determinar por qué la información se clasifica o desclasifica por error.
por Emerging Technology from the arXiv


El Departamento de Estado de EE. UU. Genera unos dos mil millones de correos electrónicos cada año. Una fracción significativa de estos contiene información sensible o secreta y, por lo tanto, debe clasificarse, un proceso que lleva mucho tiempo y es costoso. Solo en 2015, gastó $ 16 mil millones para proteger la información clasificada.

Pero la fiabilidad de este proceso de clasificación no está clara. Nadie sabe si las reglas para clasificar la información se aplican de manera consistente y confiable. De hecho, existe una disputa significativa sobre lo que constituye información que debe clasificarse.

Además, es fácil imaginar que el error humano desempeña un papel considerable en la clasificación errónea de los secretos oficiales. Pero nadie sabe cuán significativos podrían ser estos errores.



Hoy eso cambia gracias al trabajo de Renato Rocha Souza en el think tank brasileño Fundação Getulio Vargas en Río de Janeiro y sus colegas en la Universidad de Columbia en Nueva York. Estos tipos han utilizado un algoritmo de aprendizaje automático para estudiar más de un millón de cables desclasificados del Departamento de Estado de la década de 1970.

Su trabajo proporciona una visión sin precedentes sobre la naturaleza de los secretos oficiales, cómo los humanos aplican las reglas y con qué frecuencia los errores se infiltran en el proceso para revelar información sensible u ocultar detalles inocuos. Los algoritmos también revelan patrones sospechosos en la forma en que los cables se pierden.

El equipo comenzó con un corpus de un millón de cables, que descargaron de los Archivos Nacionales de EE. UU. En forma de archivos XML. Cada cable es un mensaje de texto intercambiado entre el Departamento de Estado y una misión diplomática en un país extranjero, como una embajada o consulado.

Los cables están etiquetados como "secreto", "confidencial", "uso oficial limitado" o "no clasificado". La información secreta se define como la que tiene el potencial de dañar gravemente la seguridad nacional; la información confidencial se define como que tiene el potencial de causar daño. pero no daño serio La categoría de Uso Oficial Limitado no se definió en la década de 1970 e incluso hoy sigue siendo controvertida.

Los cables también contienen otra información. Cada mensaje tiene una fecha, un remitente y un receptor, un tema y, por supuesto, el texto del mensaje.

Souza y compañía utilizaron una variedad de enfoques de aprendizaje automático para determinar cómo estos factores se correlacionan con la etiqueta de clasificación. Y después de descubrir esta correlación, luego probaron el algoritmo para ver qué tan bien podía predecir si un cable determinado estaba clasificado o no.

Los resultados hacen una lectura interesante. Souza y compañía dicen que el mensaje en sí es el mejor indicador de si un cable está clasificado. "De todas las características, la frecuencia relativa de diferentes palabras en el cuerpo fue la más útil para identificar información sensible", dicen. Los datos del remitente y del destinatario también son un buen indicador del nivel de sensibilidad, pero pueden llevar al algoritmo a clasificar muchos cables que no se clasificaron como los que sí lo fueron. En otras palabras, esto conduce a una alta tasa de falsos positivos.

Cuando el algoritmo de aprendizaje automático combina los diversos tipos de metadatos en sus decisiones, puede detectar aproximadamente el 90 por ciento de los cables clasificados, con una tasa de falsos positivos de solo 11 por ciento. Y Souza y compañía dicen que debería ser posible hacerlo mejor si se incluyeran los cables que todavía están clasificados.

Los falsos positivos y falsos negativos son en sí mismos interesantes. Estos son cables que la máquina predijo que se clasificarían pero no lo fueron, y viceversa. En muchos casos, la máquina reveló cables que habían sido clasificados erróneamente por humanos. Un ejemplo es un cable sobre la sensibilidad del gobierno japonés sobre las inspecciones estadounidenses de sus instalaciones nucleares. Este cable no se clasificó, pero debería haber sido porque el texto revela que originalmente era confidencial, dicen los investigadores.

Una limitación de los datos es que muchos cables se han perdido, aparentemente debido a problemas al convertirlos en un formato electrónico. Quizás el aspecto más interesante de este trabajo es que sugiere que estos mensajes pueden haber desaparecido por otras razones.

Una pista es la velocidad a la que desaparecieron los mensajes, que difieren para los cables clasificados y no clasificados. "Los mensajes electrónicos clasificados como 'Secretos' tenían una probabilidad tres veces mayor de desaparecer en comparación con los mensajes de Uso oficial no clasificado y limitado", dicen Souza y compañía.

Además, los metadatos asociados con los cables a menudo sobreviven cuando se pierde el mensaje electrónico. Cómo pudo haber sucedido esto es un rompecabezas.

Además, si los mensajes se perdieron cuando se convirtieron de un formato a otro, es muy probable que desaparezcan cuando el Departamento de Estado configure su nuevo sistema de almacenamiento de datos. "Es notable que la mayoría de estos cables [faltantes] no datan de cuando el Departamento de Estado configuró por primera vez el sistema, cuando uno podría esperar que hubiera estado solucionando problemas para transferir datos de manera confiable entre diferentes plataformas de hardware y software", dice el equipo .

El trabajo tiene implicaciones importantes para el equilibrio entre la transparencia y el secreto. Las máquinas claramente pueden ayudar a monitorear la práctica de clasificar datos. Pero no pueden hacerlo mejor en promedio que las bases de datos de las que aprenden. Si estos contienen errores, como claramente lo hacen los cables del Departamento de Estado, las máquinas inevitablemente serán bloqueadas.

Pero una pregunta interesante es si los datos que revela este tipo de aprendizaje automático deberían clasificarse si revelan patrones de comportamiento que podrían dañar el interés nacional. Por ejemplo, la velocidad a la que se clasifica erróneamente la información confidencial como no clasificada podría ser útil para una potencia extranjera que intente recopilar información clasificada de cables no clasificados.

Claramente hay más trabajo por hacer. Souza y compañía dicen que a pesar del gran gasto del Departamento de Estado en la protección de información clasificada, hay poca o ninguna investigación publicada sobre la consistencia de la clasificación. Tampoco hay mucha comprensión de cuánto puede revelar este tipo de aprendizaje automático.

Tal vez todo este trabajo se haga a puertas cerradas. Por otro lado, quizás no.

Ref: arxiv.org/abs/1611.00356: Using Artificial Intelligence to Identify State Secrets

Infografía: Economía de la complejidad