lunes, 15 de octubre de 2018
El proceso de Machine Learning
Paso 1: Recolectando datos de varias fuentes
Paso 2: Limpieza de datos para tener homogéneamente
Paso 3: Construcción de modelos seleccionando el algoritmo correcto del ML
Paso 4: Obteniendo una visión de los resultados del modelo
Paso 5: Visualización de datos transformando resultados en gráficos visuales.
lunes, 8 de octubre de 2018
domingo, 7 de octubre de 2018
Big Data - La inteligencia de datos
¿Qué es un dato? ¿Cómo se genera? ¿Qué tipos de datos existen?
En la inmensidad de la red navegas diariamente entre grandes volúmenes de datos que no servirían de mucho si no se almacenaran, se clasificaran y se analizaran. A partir de estos macrodatos se genera conocimiento, productos y servicios.
La inteligencia de datos o el fenómeno big data como hoy lo conocemos está revolucionando la ciencia, la economía, la política e incluso nuestro estilo de vida.
En la inmensidad de la red navegas diariamente entre grandes volúmenes de datos que no servirían de mucho si no se almacenaran, se clasificaran y se analizaran. A partir de estos macrodatos se genera conocimiento, productos y servicios.
La inteligencia de datos o el fenómeno big data como hoy lo conocemos está revolucionando la ciencia, la economía, la política e incluso nuestro estilo de vida.
¿Qué son los datos?
Podemos obtener datos de cualquier cosa que nos rodea, ya sean objetos, personas o lugares. Pero no todos los datos son estáticos. El lugar donde naciste no puede cambiar, pero sí el lugar donde te encuentras en cada momento. Tu actividad también genera datos.
Los datos nos pueden ayudar a entender las cosas.
Los metadatos
El término “meta” viene de una palabra griega que significa, entre otras cosas, “junto a” o “asociado a”. Por tanto, podríamos definir los metadatos como datos sobre otros datos.
Con el aumento de datos en la red surgió la necesidad de clasificación de todos estos datos y de la información que llevan relacionada: hay diferentes clasificaciones de metadatos relacionados con características referentes a la funcionalidad, la estructura o quién los produce.
Big Data: cuando los datos se vuelven inteligentes
Los datos y metadatos que se encuentran en la red no servirían de mucho si no se almacenaran, se clasificaran y se analizaran. La disciplina que se encarga de este proceso recibe el nombre de inteligencia de datos o Big Data.
A partir de estos macrodatos podemos generar conocimiento, productos y servicios. Por ejemplo, nos permiten predecir el tiempo, analizar parámetros de salud, mejorar la eficiencia energética o vender más y mejor. Por eso la inteligencia de datos está revolucionando la ciencia, la economía, la política y nuestro estilo de vida.
Las cuatro uves del Big Data
Estas primeras cuatro uves (ya veremos más adelante alguna más) sirven para recordar y describir las características principales del Big Data: la gestión de un gran volumen de datos, a la mayor velocidad posible, almacenados junto a una extensa variedad de información, que debe estar verificada.
VERACIDAD
Los datos obtenidos deben ser fiables, íntegros y auténticos, por lo que es necesario confirmar su veracidad. Y ¿cómo sabemos si los datos son válidos? Esto dependerá de las fuentes y los recursos que hayamos empleado para obtenerlos.
¿DÓNDE VIVEN Y CÓMO VIAJAN LOS DATOS?
¿Dónde se almacenan los datos? ¿Cómo se visualizan?
Tienes una gran cantidad de datos a tu alcance, y como has visto previamente, a partir del análisis de estos datos puedes obtener un conocimiento muy valioso. Sin embargo, cuando manejas un volumen de información masiva se hace muy complicado su manejo y son indispensables herramientas que te faciliten este análisis. Es aquí donde entra en juego la visualización de datos, que a partir de herramientas como las infografías y los mapas inteligentes te permite hacer análisis y comparativas.
La quinta uve del Big Data
Tenemos una gran cantidad de datos a nuestro alcance y, con su análisis podemos obtener un conocimiento muy valioso. Sin embargo, cuando manejamos un gran volumen de datos masivos, son indispensables herramientas que nos faciliten este análisis. Es aquí donde entra en juego la quinta uve del Big Data: la visualización.
VISUALIZAR PARA COMPRENDER
La visualización de datos es una técnica para poder leer, analizar y comparar datos a partir de su representación gráfica. Por ello es necesario traducir estos datos a modelos gráficos que sí nos permitan hacer una lectura útil de la información y extraer conclusiones que muchas veces nos pasarían desapercibidas.
La visualización es una herramienta eficaz que puede aplicarse a cualquier tipo de estudio, desde identificar las relaciones entre participantes en una red social como Facebook hasta entender cómo se propagan enfermedades y epidemias en un territorio, o cómo ha evolucionado la esperanza de vida a lo largo del tiempo.
DE LAS HOJAS DE CÁLCULO A LOS SERVICIOS ON-LINE DE VISUALIZACIÓN
Siempre han existido datos y siempre se ha tratado de visualizarlos. Muchos programas de hojas de cálculo (como Microsoft Excel) incorporan desde hace tiempo herramientas para crear gráficos a partir de los datos de nuestras tablas, para poder cotejarlos de una manera visual.
Tenemos, por ejemplo, plataformas on-line, como Infogr.am o Datawrapper, con las que podemos crear gráficos y visualizaciones. Algunas de ellas utilizan información disponible en bases de datos abiertas, como Google Public Data, y otras, además, permiten incorporar información de bases de datos propias, como Watson Analytics de IBM o Tableau.
EL MEJOR GRÁFICO PARA NUESTROS DATOS
A la hora de generar visualizaciones con estos servicios es importante saber qué tipo de gráfico nos ayuda mejor a explicar la información que tenemos. Por ejemplo, si los datos contienen un elemento geográfico asociado, puede que lo ideal sea mostrar nuestra información sobre un mapa o, si los datos explican la evolución temporal de un fenómeno, la mejor visualización puede ser una línea de tiempo
Existen algunos recursos útiles para identificar qué tipo de gráfico o visualización es la idónea en función de los datos a mostrar. Scoop es una buena recopilación on-line de visualizaciones organizadas según la tipología de datos que representan.
Infografías: una imagen vale más que mil palabras
Los estudios han demostrado que resulta más fácil captar y recordar información a través de imágenes que a través de texto. Esto es fundamental cuando tratamos de comunicar grandes cantidades de datos.
Las infografías son representaciones de información mediante símbolos e imágenes, muy útiles para explicar acontecimientos, procesos y situaciones de una manera fácil y mucho menos compleja que solo a través de texto.
Pero no podemos llamar infografía a cualquier diseño. Para que sea una infografía de verdad, debe aportar gran cantidad de información a la persona que la está visualizando.
A través de la visualización de datos explicamos historias, simplificamos, medimos, comparamos y en definitiva transformamos estos datos en información y conocimiento útil.
NICK FELTON
Vía: http://feltron.com/
Si te interesan las infografías, te encantará conocer a Nick Felton, más conocido como Feltron.
HERRAMIENTAS DE VISUALIZACIÓN
Veamos más herramientas de visualización para poder explicar nuestros datos:
Con Venngage podemos crear y publicar infografías de manera fácil, utilizando plantillas que podemos personalizar.
Visual.ly nos permite crear y compartir visualizaciones e infografías a partir muchos tipos de datos, utilizando plantillas predeterminadas, y compartirlas con una gran comunidad de usuarios y profesionales (diseñadores, programadores, etc.).
Podemos usar Gephi para visualizar redes y relaciones e identificar patrones en la información.
Mapas inteligentes: los datos sobre el terreno
Los mapas son un recurso muy efectivo en la representación de los datos. Gracias al Big Data podemos disfrutar de un nuevo concepto de mapas mucho más evolucionados e interesantes. Mira por ejemplo este mapa que realiza un seguimiento de vuelos en tiempo real y que podéis consultar en cualquier momento a través de este enlace: http://www.flightradar24.com/41.39,2.16/7
Los mapas son tan importantes en el ámbito del Big Data que algunas empresas han centrado su actividad en ellos. Vizzuality, una startup española que nació en 2007, ha desarrollado un servicio en la nube llamado CartoDB que permite visualizar datos en mapas con el objetivo de entenderlos mejor y que puedan convertirse en herramientas para tomar decisiones.
En 2015 CartoDB era ya un proyecto empresarial independiente que había logrado una inversión de treinta y un millones de dólares y se había convertido en la plataforma de referencia a nivel mundial a la hora de representar información sobre una base geográfica.
A través de este enlace puedes echar un vistazo a todos sus mapas de datos: https://cartodb.com/gallery/
VISUALIZACIÓN, CIENCIA Y ARTE
Las técnicas de visualización de información no solo nos permiten explicar resultados complejos de forma sencilla sino que se han convertido en un buen recurso para hacer más atractivo cualquier relato.
La visualización nos ayuda a comprender más fácilmente la realidad que nos rodea y además nos proporciona una forma de atraer y persuadir al público cuando queremos explicar cualquier fenómeno. Puedes ver múltiples ejemplos de visualizaciones de información en los blogs especializados.
Flowing Data
Visualising Data.
EL BOOM DE LAS REDES SOCIALES
Además de conectar con gente, las redes sociales te dan la posibilidad de seguir a páginas que te interesan, compartir su contenido etc. Las redes actúan como un gran escaparate para darse a conocer pero también son un canal que se nutre gracias a nuestros datos personales, por lo que es importante ser conscientes de la importancia de proteger nuestra privacidad en Internet.
COMMUNITY MANAGER, EL VIGILANTE EN LA SOMBRA
Con el afán de las empresas por publicitarse a través de las redes sociales nace el oficio del community manager, como gestor de los perfiles digitales de esas empresas. Habida cuenta del poder de influencia que tienen las redes sobre la sociedad, todas las marcas quieren aparecer en ellas, pero alguien debe ocuparse de administrar la actividad de sus perfiles, de recopilar todo aquello que se dice sobre la marca.
Velan por la identidad de la marca y su reputación, deciden el contenido que se publicará, contestan a los mensajes de los usuarios, pero siempre hablando en nombre de la marca y no de forma personal. Son los vigilantes en la sombra ya que, a diferencia de los influencers, su identidad no suele conocerse.
Para terminar, aunque el acceso a los datos se hace fundamental para la toma de decisiones, debemos ser conscientes de que los datos no son la respuesta a todo y que hay cosas que no son cuantificables.
La negociación, la empatía y la subjetividad, por ejemplo, son valores importantes que no se pueden medir y que influyen de manera decisiva en nuestra toma de decisiones. Por lo tanto, como sociedad también tenemos el reto de tomar decisiones ‘humanas’ y no únicamente basadas en datos, y ser conscientes de que tomar todas nuestras decisiones basándonos en algoritmos puede llevarnos a ser esclavos de nuestros propios números.
Infografías: una imagen vale más que mil palabras
Los estudios han demostrado que resulta más fácil captar y recordar información a través de imágenes que a través de texto. Esto es fundamental cuando tratamos de comunicar grandes cantidades de datos.
Las infografías son representaciones de información mediante símbolos e imágenes, muy útiles para explicar acontecimientos, procesos y situaciones de una manera fácil y mucho menos compleja que solo a través de texto.
Pero no podemos llamar infografía a cualquier diseño. Para que sea una infografía de verdad, debe aportar gran cantidad de información a la persona que la está visualizando.
A través de la visualización de datos explicamos historias, simplificamos, medimos, comparamos y en definitiva transformamos estos datos en información y conocimiento útil.
NICK FELTON
Vía: http://feltron.com/
Si te interesan las infografías, te encantará conocer a Nick Felton, más conocido como Feltron.
HERRAMIENTAS DE VISUALIZACIÓN
Veamos más herramientas de visualización para poder explicar nuestros datos:
Con Venngage podemos crear y publicar infografías de manera fácil, utilizando plantillas que podemos personalizar.
Visual.ly nos permite crear y compartir visualizaciones e infografías a partir muchos tipos de datos, utilizando plantillas predeterminadas, y compartirlas con una gran comunidad de usuarios y profesionales (diseñadores, programadores, etc.).
Podemos usar Gephi para visualizar redes y relaciones e identificar patrones en la información.
Mapas inteligentes: los datos sobre el terreno
Los mapas son un recurso muy efectivo en la representación de los datos. Gracias al Big Data podemos disfrutar de un nuevo concepto de mapas mucho más evolucionados e interesantes. Mira por ejemplo este mapa que realiza un seguimiento de vuelos en tiempo real y que podéis consultar en cualquier momento a través de este enlace: http://www.flightradar24.com/41.39,2.16/7
Los mapas son tan importantes en el ámbito del Big Data que algunas empresas han centrado su actividad en ellos. Vizzuality, una startup española que nació en 2007, ha desarrollado un servicio en la nube llamado CartoDB que permite visualizar datos en mapas con el objetivo de entenderlos mejor y que puedan convertirse en herramientas para tomar decisiones.
En 2015 CartoDB era ya un proyecto empresarial independiente que había logrado una inversión de treinta y un millones de dólares y se había convertido en la plataforma de referencia a nivel mundial a la hora de representar información sobre una base geográfica.
A través de este enlace puedes echar un vistazo a todos sus mapas de datos: https://cartodb.com/gallery/
VISUALIZACIÓN, CIENCIA Y ARTE
Las técnicas de visualización de información no solo nos permiten explicar resultados complejos de forma sencilla sino que se han convertido en un buen recurso para hacer más atractivo cualquier relato.
La visualización nos ayuda a comprender más fácilmente la realidad que nos rodea y además nos proporciona una forma de atraer y persuadir al público cuando queremos explicar cualquier fenómeno. Puedes ver múltiples ejemplos de visualizaciones de información en los blogs especializados.
Flowing Data
Visualising Data.
EL BOOM DE LAS REDES SOCIALES
Además de conectar con gente, las redes sociales te dan la posibilidad de seguir a páginas que te interesan, compartir su contenido etc. Las redes actúan como un gran escaparate para darse a conocer pero también son un canal que se nutre gracias a nuestros datos personales, por lo que es importante ser conscientes de la importancia de proteger nuestra privacidad en Internet.
- No debemos hacer pública la información personal. Antes de publicar datos con los que puedan localizarte o causarte un problema, párate a pensar: ¿es realmente necesario?
- Utiliza tu sentido común y no hagas en internet algo que no harías en persona. Rectificar es mucho más difícil en el ámbito digital.
- Revisa quiénes son tus contactos y con quién compartes tus contenidos. Acuérdate de que tus publicaciones las van a ver todos. Incluso tus futuros contactos.
- Si tienes dudas de si algo es seguro o no, pregunta a las personas mayores de tu confianza. Puede que no te parezcan más inteligentes que tú, pero tienen más experiencia.
COMMUNITY MANAGER, EL VIGILANTE EN LA SOMBRA
Con el afán de las empresas por publicitarse a través de las redes sociales nace el oficio del community manager, como gestor de los perfiles digitales de esas empresas. Habida cuenta del poder de influencia que tienen las redes sobre la sociedad, todas las marcas quieren aparecer en ellas, pero alguien debe ocuparse de administrar la actividad de sus perfiles, de recopilar todo aquello que se dice sobre la marca.
Velan por la identidad de la marca y su reputación, deciden el contenido que se publicará, contestan a los mensajes de los usuarios, pero siempre hablando en nombre de la marca y no de forma personal. Son los vigilantes en la sombra ya que, a diferencia de los influencers, su identidad no suele conocerse.
Para terminar, aunque el acceso a los datos se hace fundamental para la toma de decisiones, debemos ser conscientes de que los datos no son la respuesta a todo y que hay cosas que no son cuantificables.
La negociación, la empatía y la subjetividad, por ejemplo, son valores importantes que no se pueden medir y que influyen de manera decisiva en nuestra toma de decisiones. Por lo tanto, como sociedad también tenemos el reto de tomar decisiones ‘humanas’ y no únicamente basadas en datos, y ser conscientes de que tomar todas nuestras decisiones basándonos en algoritmos puede llevarnos a ser esclavos de nuestros propios números.
Suscribirse a:
Entradas (Atom)
El proceso de Machine Learning
Paso 1: Recolectando datos de varias fuentes Paso 2: Limpieza de datos para tener homogéneamente Paso 3: Construcción de modelos selec...
-
Programa gratuito similar al Autocad OpenSCAD es un programa de modelado de objetos en 2D / 3D. Se basa en una programación de lengu...
-
Seymourt Papert fue un c ientífico computacional, matemático y educador. En 1959 obtuvo su segundo Doctorado de Matemáticas en la U...
-
http://static.consumer.es/www/bricolaje/infografias/swf/instalaciones-electricas.swf