Mostrando entradas con la etiqueta visualización. Mostrar todas las entradas
Mostrando entradas con la etiqueta visualización. Mostrar todas las entradas

viernes, 29 de diciembre de 2017

4 características de un científico de datos

4 habilidades fundamentales para ser Data Scientist

Los Científicos de Datos lideran los rankings mundiales de los profesionales más solicitados. Si bien adquirir este perfil no es complejo, es indispensable contar con conocimientos muy concretos.



En la “era de los datos” los Data Scientists son los reyes. Lideran numerosos rankings sobre los perfiles más demandados tanto en la Argentina como en el resto del mundo. Este fenómeno se debe a que estos profesionales son los que tienen los conocimientos apropiados para analizar inmensos volúmenes de datos con el objetivo de descubrir tendencias y detectar patrones. Así es como las empresas pueden anticiparse a diferentes escenarios y, por ende, tomar mejores decisiones para el negocio.

En este contexto, estos talentos en Estados Unidos tienen salarios que rondan los 111 mil dólares anuales, según la plataforma norteamericana Glassdoor. Además, hay escasez de profesionales, de hecho, como señala la consultora Gartner, en los próximos dos años hasta el 75% de las empresas invertirán en Big Data y necesitarán contratar a estos colaboradores.

Para ser Científico de Datos hay que contar con las siguientes habilidades:

1. Programación

Como trabajan con conjuntos de datos inmensos, no es posible apelar al Excel. Por este motivo, utilizan SQL (del inglés “Structured Query Language”), que es un lenguaje de programación especialmente diseñado para manipular y extraer datos de sistemas gestores de bases de datos relacionales, como MySQL y SQL Server, entre otros.

También es indispensable dominar Python. Se trata de un lenguaje que tiene una curva de aprendizaje corta que permite visualizar datos y automatizar procesos. Además, resulta útil para extraer datos o avanzar en trabajos de basados en aprendizaje automático.

2. Modelado Predictivo

 El modelado predictivo es lo que distingue al Científico de Datos del analista de datos. Los primeros tienen la tarea de predecir el futuro utilizando datos del pasado y el presente. Por ejemplo, si una tienda de electrodomésticos quiere saber cuántos calefactores va a vender el próximo invierno, el Data Scientist estima esta predicción cruzando datos tales como el historial de unidades comercializadas en el pasado, el pronóstico meteorológico histórico y la situación económica de los consumidores, entre otros para llegar a obtener una cifra aproximada. Para explotar esa gran cantidad de datos, el profesional utiliza métodos de aprendizaje automático tales como regresiones, máquinas vectoriales de apoyo o árboles de decisión para determinar la conducta de los consumidores y así anticiparse al comportamiento de la próxima temporada de venta de estos electrodomésticos.

3. Matemáticas

Ya sea para solucionar problemas o bien para interpretar información, los Científicos de Datos deben tener conocimientos de estadística y probabilidad, entre otros. De esta manera, es capaz de entender y representar datos de forma más apropiada.

4. Visualización

 Obtenidas las conclusiones buscadas, llega el momento de transmitirlas a los tomadores decisión de la compañía, y para eso es crucial que el Data Scientist cuente con habilidades de comunicación para transmitir sus hallazgos de forma clara y precisa. Para eso, existen librerías que son de gran utilidad como Matplotlib, Seaborn, plot.ly y Bokeh, entre otras.

La revolución digital ya comenzó, y este es uno de los motivos por los cuales las empresas de todas las industrias están creando la posición de Científico de Datos para que se desempeñen en distintas áreas, como Marketing, Ventas y Recursos Humanos, por mencionar solo algunas. Por este motivo, esta disciplina promete un gran futuro laboral para aquellas personas que tengan pasión por interpretar y analizar los datos que circulan entre nosotros.

Digital House

jueves, 16 de abril de 2015

Los algoritmos no están matando la cultura creativa

Algoritmos no están matando Cultura Creativa
Los algoritmos son fundamentalmente no creativa. Cada conjunto de números crujían, cada resultado calculado, necesita un componente humano igual y quizás opuesta a traerlo a la vida.
KYLE CHAYKA - Pacific Standard



El Registro Nacional de Cine ha recopilado una lista de las películas americanas más importantes en la historia, seleccionados por un panel de expertos con décadas de experiencia académica. En un estudio reciente de la Universidad Northwestern, un programa informático crujía datos públicos en línea para generar casi exactamente la misma lista sin experiencia humana requerida. Por métricas que analizan como ingresos de taquilla, citas de Wikipedia, y la clasificación de búsqueda de Google, este algoritmo fue capaz de mejores críticos de cine humanos en su propio juego.

El estudio, publicado en las Actas de la Academia Nacional de Ciencias, sugiere que podemos utilizar métodos cuantitativos para llegar a lo que solemos ver como un juicio cualitativo de realización artística. Del mismo modo, un estudio de 2013 en la Universidad de Stonybrook encontró que con esta técnica de "estilometría estadístico", un tipo de sabermetrics para la cultura en lugar de béisbol un algoritmo capaz de predecir con un 84 por ciento de precisión que las novelas se convertirá en un éxito comercial. Empresas como Epagogix y defensores, como el ex profesor de estadística Vinny Bruzzese ofrecen análisis predictivo de guiones, así, intentar utilizar ecuaciones de adivinar simplemente que las secuencias de comandos funcionarán mejor.

Es fácil imaginar que estos algoritmos están matando la creatividad, que nos conduce por un camino a un dispositivo que escupe de nuevo los libros perfectos y guiones de cine como una versión literaria de coche auto-conducción de Google. Uno casi puede oír a los guionistas y novelistas recogidos del mundo gritando de angustia cuando contemplan su futuro irrelevancia. ¿Están los artistas van a ser sustituidos por programas de ordenador sin alma?

El software podría estar tomando un papel más importante que nunca en la creatividad cultural, pero por temor a su impacto no es por temor a que a diferencia de la prensa de Gutenberg mataría el arte de escribir en el siglo 15.

La paranoia es comprensible. Algoritmos ya gobiernan la mayoría de nuestras experiencias en línea, desde la selección de las historias que aparecen en nuestras noticias Facebook alimenta a decidir las fechas posibles en OkCupid. Están "conquistar el mundo", como una charla TEDx puso. Sin embargo, el miedo más grande de la mecanización, la noción aterradora que el arte creativo puede ser replicado tecnológicamente con sólo pulsar un botón, es infundado. Yo diría que más que nosotros sustitución, algoritmos computacionales En realidad nos proporcionan nuevas herramientas para reflexionar sobre nuestra propia cultura muy humano.

A pesar de que una escritura periodista artículos que los algoritmos pronto podrían replicar automáticamente a la Associated Press que ya está utilizando el software para generar sus informes sobre las ganancias corporativas, no estoy particularmente miedo de mi propia creatividad convirtiéndose en inútil. Eso es porque los algoritmos sólo son capaces de deducir las tendencias de los datos que se dan, decidir qué nuevos libros podrían ser piezas negociables o que de noticias convincente por juzgarlos contra ejemplos previamente exitosas. Carecen de una visión humana.

Ante esta incapacidad para "hacerlo nuevo", como Ezra Pound dijo, los algoritmos están atrapados en el pasado. Los grandes estudios y editoriales que dependen de análisis predictivo pudieron encontrar su trabajo de repente derivado en su intento de hacer sólo las apuestas asistido por ordenador más seguros posible.

Utilizando datos de la inspiración no es una práctica nueva. Amazon permite a los usuarios votar sobre los que los pilotos de televisión que produce. Netflix utiliza asimismo información sobre lo que los suscriptores ya miran a planificar su originales propios espectáculos-castillo de naipes se hizo porque los espectadores amaron La Red Social, que David Fincher también dirigió, así como la estrella Kevin Spacey. Estas estrategias imitar el efecto de los algoritmos de predicción sin que necesariamente el uso de ellos. Los escritores no han desaparecido ni tiene el mundo terminado, aunque la televisión puede ser un poco más aburrido como resultado.

Del mismo modo, Marvel y Warner Brothers están planeando decenas de películas de superhéroes de aquí a 2020. El último grupo de luchadores galácticas de gran presupuesto fue un éxito, por lo que los siguientes doce películas será, también, o lo que el pensamiento va. Puede haber un problema técnico, sin embargo, para ser eficaces, los algoritmos deben también cambian con sus audiencias, que eventualmente podría sufrir de agotamiento héroe imprevisto.

Mientras que atienden a la comerciabilidad podría ir en contra de la sensibilidad de algunos escritores, no es un pecado. Algoritmos predictivos exitosos también podría significar que los estudios hacen apuestas fuertes en sus películas independientes, incluso a medida que reducen el riesgo en sus títulos mega-presupuesto. Podría haber más espacio para complacer a la corriente principal y nichos de público por igual, además de fomentar el éxito sin precedentes rara como congelado, las niñas, o Jeff VanderMeer del Sur Alcance Trilogy.

Los algoritmos son una bala mágica. Claro, Hollywood podría saber que el público como las comedias extravagantes con dos protagonistas femeninas, pero que son esos personajes van a ser y lo que van a decir? La computadora no puede escribir un guión completo, ni de datos puede dar todas las respuestas. Debemos abrazar las formas algoritmos nos pueden ayudar en lugar de centrarse en cómo podrían hacer daño.

Los algoritmos son simplemente un punto de partida donde comienza el trabajo creativo real. Artistas y diseñadores visuales expertos en tecnología ya están mostrando cómo los algoritmos pueden aumentar la creatividad en lugar de reemplazarlo, con ecuaciones para abrir nuevos caminos creativos. De hecho, las computadoras podrían ser especialmente adecuado para encontrar justo lo que hace que el arte convincente. "Los algoritmos están diseñados para el procesamiento de la cultura humana," el artista londinense Mateo Plummer-Fernández dice.

El trabajo de Plummer-Fernández incluye esculturas abstractas y jarrones geométricas creadas por algoritmos repitiendo hasta que se forman formas que ningún humano podría imaginar. Las piezas nos muestran lo que parece cuando artistas y máquinas colaboran. "Algoritmos están profundamente hibridan con la actividad humana, de las intenciones de su programador a los datos humanos generados por las que se alimentan de", dice Plummer-Fernández.

En noviembre pasado, el artista Internet Darius Kazemi creado Generación Mes Nacional de Novela, una respuesta algorítmico al desafío anual novela-escritura de un nombre similar. En lugar de escribir una novela, Kazemi instó a los programadores a diseñar algoritmos que se salieron no sólo una idea para un programa de televisión, pero un manuscrito completo. Entradas a NaNoGenMo incluyeron un misterioso tomo faux-medieval por Liza Daly y un cómic detective noirish de Greg Borenstein. Cada vez que uno de estos algoritmos artísticas se ejecuta, un libro nuevo emerge, completamente único e imposible sin la ayuda de una ecuación.

Los nuevos libros no tienen sentido narrativo perfecto, de ahí la necesidad permanente de un editor humano. Pero tal es el defecto fatal de la cultura algorítmica. En realidad, es fundamentalmente poco creativo. Cada conjunto de números crujían, cada resultado calculado, necesita un componente humano igual y quizás opuesta a traerlo a la vida.

El futuro no es tan oscuro como la paranoia algoritmo podría sugerir. Así que anímate, novelistas reunidos: Software podría estar tomando un papel más importante que nunca en la creatividad cultural, pero por temor a su impacto no es por temor a que a diferencia de la prensa de Gutenberg mataría el arte de escribir en el siglo 15. Las nuevas herramientas tecnológicas tienen una manera de generar creatividad más humana, no menos.

jueves, 19 de junio de 2014

Algoritmos evolutivos de teoría de juegos para entender la reproducción sexual

La Teoría de los Juegos de la Vida
La aplicación de la teoría de juegos para el comportamiento de los genes ofrece una nueva visión de la selección natural.
Beatrice el Biólogo

Por: Emily Singer - Quanta Magazine

En lo que parece ser el primer estudio de su tipo, los informáticos informan de que un algoritmo descubierto hace más de 50 años en teoría de juegos y ahora ampliamente utilizado en aprendizaje de máquina (machine learning) es matemáticamente idéntico a las ecuaciones utilizadas para describir la distribución de los genes dentro de una población de organismos. Los investigadores pueden ser capaces de usar el algoritmo, que es sorprendentemente simple y de gran alcance, para entender mejor cómo funciona la selección natural, y cómo las poblaciones mantienen su diversidad genética.

Al ver la evolución como un juego repetido, en el que los jugadores individuales, en este caso los genes, tratan de encontrar una estrategia que crea la población más aptos, los investigadores encontraron que los valores tanto de la evolución de la diversidad y de la aptitud.

Algunos biólogos dicen que los resultados son demasiado nuevos y teórica para ser de utilidad; los investigadores aún no saben cómo poner a prueba las ideas en los organismos vivos. Otros dicen que la sorprendente conexión, publicado el lunes en la versión anticipada en línea de las Actas de la Academia Nacional de Ciencias, podría ayudar a los científicos a entender una característica desconcertante de la selección natural: los organismos más aptos no siempre acaban con sus competidores más débiles. En efecto, como lo demuestra la colección de animales salvajes de la vida en la Tierra, la diversidad genética reina.


Wu et al. 2010, Revista Internacional de Visión por Computador
Algoritmo.de actualización de pesos multiplicativos
El "algoritmo de actualización de pesos multiplicativos" se emplea en una serie de aplicaciones informáticas, incluyendo el reconocimiento de objetos, como se muestra aquí.
"Es una forma muy diferente de ver la selección", dijo Stephen Stearns, biólogo evolutivo en la Universidad de Yale, que no participó en el estudio. "Yo siempre encuentro radicalmente diferentes maneras de ver un problema interesante."

El algoritmo, que se ha utilizado para resolver problemas de programación lineal, los juegos de suma cero y una docena de otros problemas informáticos sofisticados, se utiliza para determinar cómo un agente debe sopesar las posibles estrategias al hacer una serie de decisiones. Por ejemplo, imagine que usted tiene 10 expertos financieros que le da consejos sobre cómo invertir sus ahorros. Cada día tienes que optar por seguir uno de ellos. Al comienzo del período de inversión, usted no sabe nada acerca de lo bien que cada experto. Pero cada día, el algoritmo se actualizan los pesos multiplicativo, como se le llama, le indica que debe aumentar la probabilidad de que la elección de los expertos que han dado los mejores consejos y disminuir la pena para aquellos que han realizado mal.

"Si usted hace esto día tras día, al final del año, que va a hacer casi tan bien como si se hubiera seguido el mejor experto desde el principio", dijo Christos Papadimitriou, científico informático en la Universidad de California, Berkeley. "Es como si usted fuera omnisciente en el principio, señalar a los mejores expertos y después de su día consejo tras día."

Christos Papadimitriou, científico informático en la
Universidad de California, Berkeley, dijo que
el algoritmo puede ayudar a explicar la reproducción
sexual.
Papadimitriou y sus colaboradores llegaron a través de la conexión entre la teoría de juegos y la evolución cuando buscaban una explicación matemática de las relaciones sexuales, lo que desencadena la nueva diversidad genética mediante la mezcla de los cromosomas de cada progenitor. Estaban trabajando con ecuaciones de uso común en la genética de poblaciones, desarrollaron por primera vez hace casi un siglo, que describen cómo las frecuencias de ciertas variaciones genéticas cambian con cada generación. Por ejemplo, las plantas que florecen en el clima actual podrían disminuir a medida que las condiciones altera el calentamiento global.

Cuando se mostraron las ecuaciones a Umesh Vazirani, científico informático en Berkeley, observó paralelos a un juego de coordinación repetido - un escenario en la teoría de juegos en la que el éxito depende de los jugadores que eligen opciones de beneficio mutuo. Como ejemplo, considere una situación en la que dos presos se ven tentados a su vez el uno al otro. Si uno habla, ambos pierden; si ni conversaciones, ambos ganan. Ni prisionero sabe lo que hará el otro. (Este escenario es diferente que el dilema del bien conocido del prisionero.)

Viendo el algoritmo a través del lente de la evolución, los genes son los jugadores, y cada gen tiene un número de diferentes estrategias en la forma de variaciones genéticas, o alelos. Una variante de un gen podría hacer que una planta de tolerar temperaturas más cálidas o suelo más seco, por ejemplo. El juego se juega una y otra vez; al final de cada ronda, el gen, o jugador, evalúa qué tan bien cada uno de sus alelos se realizan en el entorno genético actual y luego aumenta el peso de los buenos resultados y reduce el tamaño del peso de los artistas pobres.

Los investigadores dijeron que los hallazgos proveerán una nueva forma de examinar el papel del sexo en la evolución. Por ejemplo, Papadimitriou dijo que cree que parte de su papel es el de llevar a cabo el peso multiplicativo algoritmo de actualización, aunque todavía no lo ha demostrado matemáticamente.

Las aplicaciones tradicionales de la teoría de juegos a la evolución examinan cómo los procesos evolutivos moldean el comportamiento de un individuo. Ellos también se han utilizado para estudiar la evolución del altruismo y otras propiedades. "Pero aquí, estamos hablando de algo completamente diferente", dijo Adi Livnat, biólogo en el Instituto Politécnico de Virginia en Blacksburg, Virginia, que colaboró ​​en el estudio. El nuevo estudio se centra en los genes en lugar de los organismos individuales, y en la composición genética de la población en lugar de comportamiento.

Umesh Vazirani, también un científico de la computación en
Berkeley, notó por primera vez que las ecuaciones utilizadas
en la genética de poblaciones se asemejan a un algoritmo
de gran alcance en la informática.
El enfoque podría iluminar un misterio de larga data en la biología de la población. Al igual que en el mundo financiero, donde lo mejor es mantener una cartera diversificada, Vazirani y sus colaboradores encontraron que los valores del algoritmo tanto la aptitud y diversidad. Usted puede verse tentado a poner todo su dinero en una acción en alza. Pero si las circunstancias cambian y que las acciones comienza a tanque, es mejor haber invertido en una selección más equilibrada. Del mismo modo, los genes de un organismo pueden ser perfectamente adaptados a un determinado conjunto de condiciones ambientales, pero si esas condiciones cambian, es más probable que sobreviva una población genéticamente diversa. "La evolución es, por supuesto, interesada en el rendimiento", dijo Papadimitriou. "Pero también está interesado en la cobertura de sus apuestas, manteniendo en torno a una gran cantidad de diversidad genética porque quién sabe lo que vendrá después."

Los biólogos evolutivos saben que en la práctica, una población genéticamente diversa suele ser más resistente de lo que un ser homogénea, ya que es más capaz de responder a los cambios del entorno. Sin embargo, han tenido problemas para explicar cómo se mantiene esa diversidad. En el corto plazo, se podría esperar la diversidad caiga como los miembros más aptos de una extensión de la población, la anulación de los miembros más débiles, genéticamente diferentes. ¿Cómo se coronan necesidades a largo plazo de las presiones a corto plazo?

Los resultados proporcionan una "sugerencia especulativa" de cómo esto podría suceder, aunque los autores no proponen un mecanismo específico, dijo Nick Barton, un biólogo en el Instituto de Ciencia y Tecnología de Austria, que no participó en el estudio. "No creo que nos da el algoritmo que puede lograr la diversidad que vemos en la Tierra en 3,5 millones de años, cuando se inició la primera vida", dijo.

Stearns y otros en el campo dicen que es demasiado pronto para evaluar cómo los resultados afectarán a nuestra comprensión de la evolución. A pesar de que la conexión entre los diferentes campos es interesante ", que en realidad no nos ayuda a comprender la evolución biológica", dijo Chris Adami, físico y biólogo computacional en la Universidad Estatal de Michigan, que no participó en el estudio. "A menos que una relación de este tipo le permite decir algo nuevo, ya sea en ciencias de la computación o la biología, es sólo una observación."

Los biólogos evolutivos son a menudo escépticos de conocimientos matemáticos de los forasteros. Aunque los matemáticos y científicos informáticos publican regularmente en el campo, los biólogos están de acuerdo sobre la cantidad de sus contribuciones han hecho para darle forma. "Creo que va a tomar algún tiempo para averiguar cómo el papel juega", dijo Stearns. "Si esto no causa ningún dato nuevo que se reunieron, entonces no va a ser muy importante." Aunque los resultados no prueban relevante en el corto plazo, que podrían ser importantes en el largo plazo. A veces puede tomar décadas antes de que la tecnología adecuada o enfoque surge para probar una nueva teoría, dijo Stearns.

La evolución y la entropía

Uno de los sorprendentes descubrimientos del estudio de Papadimitriou es que los valores de la selección natural no sólo la aptitud, sino también de la diversidad genética, lo que en términos más técnicos se conoce como entropía. Este punto de vista de que la evolución optimiza no sólo significa la aptitud, pero significa la aptitud y la entropía no es bien conocida ", pero creo que es una observación profunda", dijo Adami.

El equipo de Berkeley no es el primero en poner de relieve el papel de la entropía podría desempeñar en la evolución. Pero hasta ahora, el tema ha sido principalmente de interés para los matemáticos en lugar de los biólogos. "Aplicaciones de la entropía en la evolución han tenido un mal nombre, porque estaban muy mal definidas", dijo Barton. "Más recientemente, se han producido algunos interesantes, y mucho más sólida, las ideas, que hacen que una relación entre los campos que se dirigía a un problema similar: la física estadística y biología evolutiva tanto tratar de entender las propiedades generales de un sistema complicado, independiente de lo microscópico detalles. "Estos resultados más recientes son matemáticamente sonido, pero todavía no se conectan bien con la comprensión biológica existente, dijo. "Así que no es claro para los biólogos cómo [los resultados] podría ayudar a explicar sus preguntas abiertas."

Las ecuaciones del estudio se basan en ciertas suposiciones que pueden limitar su aplicabilidad al mundo real. Por ejemplo, las ecuaciones no tienen en cuenta las mutaciones, que pudieran introducir nuevos alelos o estrategias, en el juego. (La adición de este factor hace que las matemáticas mucho más complejo.) Algunos dicen que esta simplificación es un serio inconveniente, mientras que otros sostienen que no es tan importante en el corto plazo, cuando las variaciones existentes tienen el impacto más fuerte. "¿Qué pasa cuando uno se aleja de las hipótesis?", Dijo Lee Altenberg, investigador principal en el Instituto Konrad Lorenz de Austria. "Ellos han fijado un único punto en el mapa. Pero para saber si eso significa algo, usted tiene que comenzar con origen en ese punto ".

Uno de los resultados del análisis es probable que descifrar los biólogos. De acuerdo con la visión estándar de la evolución, la más de una generación se encuentra en el pasado, menor es el impacto que tiene sobre el presente - sus antepasados ​​de hace 1.000 años, probablemente tuvo un efecto menor sobre su condición física que sus abuelos. Pero si las intuiciones del equipo de Berkeley se mantienen, "nos muestra que cada generación pasada contribuye por igual a lo que sucede en la próxima generación", dijo Stearns. "Esa es una afirmación fascinante y tremendamente improbable desde el punto de vista de la evolución regular." Papadimitriou dijo que su equipo también estaba perplejo por ese resultado. "Es algo que esperamos hacer los investigadores repensar, revisar e interpretar", dijo.

"Realmente no se puede probar estos teoremas en relación con la vida real", dijo Barton. "Son herramientas para conseguir intuición sobre cómo entender la evolución."