No deje que estos mitos de big data descarrilen su proyecto de analítica

Más herramientas no siempre es la respuesta

Otro mito común es que simplemente añadir más herramientas al problema lo resolverá. Este es un mensaje que se ha perpetuado conforme el número de herramientas de big data proliferan y los proveedores compiten por rebanadas del mercado. Pero las herramientas son solo tan buenas como las personas que las utilizan.

"Muy a menudo, como científicos de datos, se espera que llevemos magia a todo lo que estamos haciendo, pero he descubierto que muchas veces funciona mejor con un poco de grasa en el codo", dijo Abe Gong, científico senior en Jawbone, un fabricante de monitores de fitness y otros dispositivos electrónicos.

Por ejemplo, Gong se disponía a hacer un análisis de un gran conjunto de datos que él sabía que iba a tener una gran cantidad de datos incompletos o entradas duplicadas. Él primero pensó en escribir un algoritmo para limpiar el conjunto de datos, pero sabía que aún dejaría algunos datos erróneos. Después de pensar en el problema, decidió simplemente pedir a todos en el departamento de TI pasar un par de minutos limpiando manualmente el conjunto de datos. Muy pronto estaba listo, sin que ninguna persona tuviera que invertir mucho tiempo limpiándolo, y se limpió mejor de lo que habría quedado si un algoritmo lo hubiera hecho.

Tal vez el gran mito de datos más pernicioso es que la verdad es estática y totalmente objetiva. De hecho, puede estar constantemente en movimiento.

Esto fue confirmado por John Hogue, un científico de datos de General Mills Inc., quien habló sobre cómo su equipo ha trabajado para desarrollar un panel de control interno que correlaciona diversas campañas de publicidad con cosas como el uso de cupones, los mensajes positivos en los medios sociales y los datos de ventas.

Los usuarios de este tipo de sistemas, dijo Hogue, deben recordar que los datos que tienen representan solo una breve instantánea en el tiempo. En un mundo que cambia rápidamente, inferir la objetividad de este tipo de datos sería un error.

"Usted tiene que tomar una instantánea de lo que es la verdad hoy", dijo Hogue. "Eso va a ser un reto para muchos de los usuarios de negocios”.

Tenga cuidado con la proliferación de problemas en la calidad de datos

La confianza inapropiada en la objetividad de datos puede tener otros resultados.Es particularmente importante recordar que los modelos analíticos no siempre entregan resultados precisos cuando se utiliza un modelo para alimentar a otro. Y basar decisiones en datos de baja calidad puede no ser más eficaz que ir con el instinto de un ejecutivo o incluso simplemente elegir al azar.

Scott, Hallworth, director de riesgo de modelo en la empresa de servicios financieros Capital One, dijo que ha visto casos en los que un equipo construye un modelo para sus propios fines, pero luego otro equipo ve los nuevos datos que están disponibles y los incorpora en sus propios modelos, sin saber que el primer modelo solo produjo resultados en un nivel de confianza particular. Con cada nuevo modelo, la calidad de la salida de datos que se produce puede bajar.

Para hacer frente a este problema, Hallworth recomienda construir mecanismos de gobernanza en los modelos desde el principio y asegurarse de que cualquier persona que termine usando la salida de un modelo sepa cuán fidedigna es la información.

"Mucha gente se olvida que cuando usted construye un modelo o un informe, está generando datos", dijo Hallworth. "Alguien va a utilizarlo y a transformarlo en otra cosa. Eso es lo que causa  una gran cantidad de problemas”.