Dar sentido a los datos con entornos de código bajo

Dado que los datos continúan creciendo, las organizaciones centralizan cada vez más sus actividades de datos. Sin embargo, cuando se trata de herramientas, el panorama sigue estando muy fragmentado. La mayoría de los analistas de negocios se limitan a las hojas de cálculo clásicas y las herramientas de BI para la manipulación y exploración de datos estáticos, mientras que los científicos de datos codifican a mano modelos predictivos en una variedad de lenguajes diferentes y confían en TI para su implementación. Mientras tanto, los ingenieros de datos brindan a todos acceso a los agregados de datos apropiados que se extraen de la multitud de fuentes de datos, en las instalaciones y en la nube.

Un entorno efectivo de código bajo permite que esas personas trabajen juntas de manera más productiva y, al mismo tiempo, proporciona una plataforma única adecuada para esas audiencias diversas. Los usuarios comerciales pueden concentrarse en agregar y explorar datos, los científicos de datos pueden aplicar métodos sofisticados de aprendizaje automático (ML) e inteligencia synthetic (IA), y los ingenieros de datos pueden asegurarse de que las manipulaciones de datos se ejecuten en el entorno adecuado y sigan el cumplimiento de la empresa. normas. El entorno de código bajo correcto sirve esencialmente como un entorno sin código para algunos de estos usuarios y como un entorno de programación visible para otros, que están creando soluciones más complejas.

Además, junto con TI, el equipo configura los protocolos de producción apropiados, de modo que lo que crearon se pueda implementar continuamente en producción, como una aplicación interactiva, en el perímetro o simplemente automatizado para una ejecución common. El entorno adecuado también hace feliz al departamento de cumplimiento.

Veamos las diferentes partes interesadas y cómo se benefician de un entorno de código bajo.

Sin código para expertos en negocios

Los analistas de negocios necesitan resúmenes generados automáticamente y visualizaciones de resúmenes de datos para identificar rápidamente cambios en las tendencias (o simplemente para ahorrar tiempo en auditorías e informes regulares). Además, se benefician de la capacidad de ver sus datos desde varios ángulos, lo que a menudo conduce a nuevos conocimientos sobre las operaciones en curso.

El entorno de código bajo apropiado hace que estas tareas sean más fáciles que escribir macros de Excel y menos limitantes que la agregación de datos que se puede hacer dentro de una herramienta de BI estándar. Sin siquiera tocar el código, un usuario empresarial puede modelar un flujo de datos de forma directa e intuitiva. Este caso «sin uso» tiene el efecto de código lateral de que ese proceso está debidamente documentado y se puede explicar (o entregar) a otros fácilmente.

Con el entorno adecuado, la puerta no está cerrada a agregaciones y visualizaciones de datos automatizadas y bien documentadas. Ahora que nuestros expertos comerciales tienen más tiempo libre, pueden comenzar a explorar más datos, así como otras técnicas. Gradualmente, aprenderán más sobre la ciencia de datos moderna y aumentarán continuamente su repertorio de métodos que les ayuden a dar sentido a sus datos. El entorno adecuado abre la puerta para tomar medidas para convertirse en un científico de datos y, dado que sus colegas de ciencia de datos ya están utilizando el mismo entorno, pueden beneficiarse directamente de los ejemplos y planos creados por ellos.

Código bajo para ingenieros de datos

Ser capaz de generar y entregar rápidamente diferentes vistas, idealmente, de todos los repositorios de datos corporativos sigue siendo uno de los mayores obstáculos para dar sentido a todos esos datos. Podemos seguir esperando la información corporativa, bien organizada y siempre actualizada. almacenes de datos para finalmente aparecer, o podemos seguir confiando en un equipo de ingenieros de datos que responda rápidamente y brinde la vista correcta. Tampoco es muy eficiente o possible.

El entorno de código bajo brinda a los expertos en datos la capacidad de crear esas vistas de datos virtualmente, sobre la marcha, y entregárselas a sus usuarios. Los ingenieros de datos pueden diseñar fuentes de datos internas que cumplan con gobernancia reglas, mientras que sus usuarios aprovechan el mismo entorno para personalizar aún más la vista de datos para satisfacer sus necesidades.

Si se hace bien, los ingenieros de datos pueden incluso cambiar de una fuente de datos (por ejemplo, su proveedor precise de almacenamiento en la nube) a otra, o agregar otra nueva fuente a la combinación, sin que los usuarios tengan que preocuparse. Todo lo que ven es la misma vista de los datos, y sus soluciones de código bajo continúan funcionando sin problemas. De esa forma, los ingenieros de datos implementan continuamente vistas nuevas y actualizadas en su almacén de datos digital. Y, de nuevo, el entorno de código bajo documenta automáticamente cada paso que se da en el camino.

Al ultimate, lo que están haciendo los ingenieros de datos es programación visible principalmente de SQL. Si lo desean, también pueden comunicarse y proporcionar fragmentos de código reales, pero en un entorno de código bajo bien diseñado, esto rara vez será necesario. Y si lo es, se encapsulará en un flujo de código bajo y se gobernará y documentará como el resto.

Código bajo para científicos de datos

Elegir entre la gran cantidad de técnicas de ciencia de datos establecidas, probar algoritmos de última generación y automatizar piezas seleccionadas del proceso de optimización del modelo y/o ingeniería de características sigue siendo difícil de hacer de una manera que haga que los resultados sean fáciles de implementar. Muchos entornos son demasiado complejos o demasiado simplificados o, lo que es más trágico, no cubren la profundidad a la que un equipo de ciencia de datos quiere tener acceso. Un científico de datos quiere un management preciso sobre todas las pequeñas perillas y diales de un algoritmo de aprendizaje, y quiere elegir: la capacidad de elegir entre un amplio repertorio de técnicas.

Un entorno serio de código bajo proporciona a los científicos de datos flexibilidad en torno a las herramientas que utilizan. Al mismo tiempo, permite concentrarse en las partes interesantes de su trabajo, al tiempo que se abstrae de la interfaz de herramientas y las diferentes versiones de las bibliotecas involucradas. Un buen entorno permite a los científicos de datos acceder al código si así lo desean, pero garantiza que no tengan que tocar el código cada vez que deseen controlar el inside de un algoritmo. Esencialmente, esto permite la programación visible de un proceso de flujo de datos; después de todo, la ciencia de datos hecha de verdad es compleja.

Si se hace bien, el entorno de código bajo continúa permitiendo el acceso a nuevas tecnologías, lo que lo convierte en una prueba de futuro para las innovaciones en curso en el campo. Pero los mejores entornos de código bajo también garantizan la compatibilidad con versiones anteriores e incluyen un mecanismo para empaquetar e implementar fácilmente modelos entrenados junto con todos los pasos necesarios para la transformación de datos en producción.

Sin código para el CxO (y otros usuarios comerciales)

La relación entre el departamento de ciencia de datos y sus usuarios finales suele ser tensa. La gente de negocios a menudo se queja de que la gente de datos trabaja con lentitud, no comprende del todo el problema actual y, al ultimate de todo, no llega a la respuesta que buscaba el lado empresarial. El equipo de ciencia de datos se queja de la cantidad de explicaciones que tienen que hacer y de lo subestimado que es su arduo trabajo. Ambas partes están frustradas: la empresa no obtuvo lo que quería y el equipo de ciencia de datos no recibe el crédito.

Un entorno de código bajo también puede ayudar aquí; permite que el equipo de ciencia de datos discuta con los usuarios comerciales cómo pretenden llegar a la respuesta de una manera intuitiva y visible. Los usuarios comerciales no necesitarán comprender todos los detalles esenciales de cómo se combinan los datos y qué tipo de modelo ML se usa para hacer la predicción, pero pueden comprender el flujo de datos y proporcionar comentarios instantáneos sobre cuándo están no obtener las respuestas que están buscando. Para el equipo de ciencia de datos, el entorno de código bajo también permite una respuesta mucho más rápida; Los ajustes al flujo de datos son rápidos y fáciles.

El resultado es que la ciencia de datos ya no se realiza de forma aislada, sino en un esfuerzo de colaboración, aprovechando de manera eficiente la experiencia de los expertos en datos y negocios. El entorno de código bajo adecuado también les permite implementar rápidamente la producción y hacer que los servicios de API o las aplicaciones net resultantes sean tan interactivos como sea necesario. En lugar de crear una docena de versiones diferentes de la aplicación, pueden decidir simplemente implementar una que permita un poco más de interacción para abordar esas docenas de necesidades (y una docena futuras).

No hay código para el CDO

Asegurarse de que todos los datos se utilicen correctamente para ayudar a acelerar y mejorar las operaciones en todas partes de la organización sigue siendo extremadamente difícil, razón por la cual muchas organizaciones ahora tienen un «departamento de datos» central. Pero eso no soluciona el problema; simplemente reconoce que existe y pone la responsabilidad de hacer que las cosas funcionen sobre los hombros de alguien.

El entorno de código bajo adecuado eliminará un montón de fricciones en la forma en que se utilizan los datos dentro de una organización. En primer lugar, los expertos en datos pueden trabajar juntos en un entorno colaborativo. No necesitan esperar hasta que todos los datos y herramientas estén integrados en un solo sistema, pero pueden combinar datos y herramientas cuando sea necesario. En segundo lugar, pueden, junto con los usuarios comerciales, diseñar soluciones para los usuarios finales actuales y pueden mover esas soluciones de manera fácil y confiable a la producción. Y en tercer lugar, el entorno correcto de código bajo también permite que una organización garantice la gobernanza y la auditabilidad listas para usar.

Pero mirando hacia el futuro, hay más: Habiendo creado flujos de trabajo de código bajo para resolver problemas específicos, su documentación incorporada e inherente hace que sea fácil usarlos como planos para problemas futuros, por lo que el equipo no siempre tiene que empezar. desde cero Si el equipo adopta el enfoque modular adecuado, puede crear fácilmente componentes que resuelvan partes de un problema, como establecer un acceso bien definido a los recursos de la organización. lagos de datos y proporcionar plantillas para informes estandarizados. Y finalmente, si se trata de un entorno abierto, todas las nuevas tecnologías que se están inventando actualmente aún pueden ser utilizadas por el equipo de ciencia de datos. La adopción de un entorno de código bajo tan abierto no tiene el costo de mantenerse al día con las últimas y mejores tecnologías.

Un entorno de código bajo tiene sentido

Un entorno de código bajo es útil para dar sentido a los datos corporativos de forma continua. Permite la colaboración entre todas las partes interesadas, permite la creación ágil de nuevos conocimientos, servicios de datos y aplicaciones y aporta una transparencia inherente que es elementary para la gobernanza.

Un entorno efectivo de código bajo también mantiene a todos en la organización utilizando tecnologías modernas sin la necesidad constante de cambiar de herramienta, ya que sirven como una capa de abstracción lejos de las complejidades de la herramienta. Esta es la propiedad más crítica: asegurarse de que una organización use tecnología de datos que esté realmente preparada para el futuro y libre de bloqueos.

Michael Berthold es cofundador y director ejecutivo de cuchillo.