Ampliación de la ingeniería de datos empresariales con IBM watsonx.data integration for Apache Flink
IBM anuncia IBM® watsonx.data integration for Apache Flink para ayudar a los equipos de ingeniería de datos a construir, operacionalizar y escalar pipelines de streaming con mayor facilidad.
Los datos en tiempo real han pasado de ser un requisito especializado a convertirse en una necesidad empresarial. La detección del fraude, las respuestas de la cadena de suministro, las experiencias de los clientes y los sistemas de inteligencia artificial dependen cada vez más de datos que reflejen lo que está sucediendo en ese mismo momento, y no horas más tarde.
Apache Flink se ha convertido en una tecnología fundamental para el procesamiento de flujos con estado, pero aprovechar todo su potencial a escala empresarial puede resultar complicado. La construcción y el mantenimiento de cargas de trabajo Apache Flink en entornos de producción suelen requerir ingenieros con conocimientos especializados en estados distribuidos, puntos de control, procesamiento basado en el tiempo de los eventos y comportamiento operativo de los sistemas de streaming.
Para muchas organizaciones, esta especialización puede convertirse en un cuello de botella. Los casos de uso de datos en tiempo real con un gran valor potencial pueden quedar pendientes a la espera de un grupo relativamente reducido de especialistas.
Hoy anunciamos IBM watsonx.data integration for Apache Flink, una solución diseñada para facilitar a los equipos de ingeniería de datos la creación y puesta en funcionamiento de pipelines de streaming que se ejecutan en Confluent Platform for Apache Flink.
Al incorporar prácticas habituales de ingeniería de datos al ciclo de vida de Flink —desde la creación y validación hasta las operaciones en producción—, podemos ayudar a las organizaciones a extender el procesamiento de flujos a más equipos y a sacar mayor partido de su infraestructura de streaming Confluent.
¿Por qué puede estancarse la adopción de Apache Flink?
Flink ofrece a las organizaciones capacidades avanzadas para procesar continuamente los datos a medida que se generan los eventos. Sin embargo, adoptar el procesamiento de flujos de forma generalizada requiere mucho más que tener acceso a un entorno de ejecución potente.
Los equipos deben diseñar los pipelines, conectar fuentes y destinos, gestionar errores, responder a los cambios de esquema, recuperar las cargas de trabajo y mantener los estándares de gobernanza de forma segura cuando algo falla. Cuando cada una de estas tareas depende de conocimientos especializados de Flink o de desarrollos a medida, resulta difícil extender esta tecnología más allá de un equipo central de streaming.
A medida que se amplía la adopción, aparece otro reto: aplicar los controles empresariales de manera coherente. Los equipos deben garantizar las reglas de calidad de los datos y gestionar la información confidencial sin tener que reconstruir estos procesos para cada carga de trabajo de streaming.
Por tanto, el reto no consiste simplemente en poner Flink a disposición de los equipos, sino en hacer que sea práctico para que más profesionales de datos puedan crear y gestionar cargas de trabajo de producción sobre la infraestructura de streaming que ya tiene la organización.
Facilitar la creación de pipelines con Flink
IBM watsonx.data integration ofrece a los equipos varias formas de crear pipelines de streaming:
- Un lienzo visual con funcionalidad de arrastrar y soltar.
- Creación de contenido asistida por inteligencia artificial.
- Un SDK de Python.
Cada enfoque genera el mismo modelo de pipeline subyacente, que se traduce en un grafo de trabajo nativo de Flink y se envía para su ejecución en Confluent Platform for Apache Flink.
Para los ingenieros de datos, esto significa trabajar con conceptos conocidos, como fuentes, procesadores, consultas, ventanas, enrutamiento, destinos y gestión de errores, sin que todos los profesionales tengan que empezar escribiendo código SQL de Flink.
Esta mayor accesibilidad no sustituye al desarrollo nativo de Flink. Los especialistas avanzados pueden seguir utilizando los enfoques nativos cuando necesitan un control más profundo, mientras que watsonx.data integration ofrece a más ingenieros de datos una vía familiar para trabajar con el mismo entorno de ejecución de Flink. De este modo, las organizaciones pueden ampliar el uso de Confluent a más usuarios y cargas de trabajo.
Facilitar la escalabilidad de Apache Flink en toda la empresa
La creación de pipelines es solo una parte del reto. A medida que las organizaciones incorporan más cargas de trabajo de Flink a Confluent, ejecutar pipelines de streaming en entornos de producción requiere las mismas prácticas de ingeniería rigurosas que cualquier otra carga de trabajo de datos crítica para el negocio.
IBM watsonx.data integration incorpora esta disciplina al ciclo de vida de Flink y ayuda a los equipos a previsualizar y validar los pipelines antes de su despliegue, gestionar los cambios y errores de esquema y preservar el estado cuando las cargas de trabajo se detienen y se reanudan.
La gestión centralizada del ciclo de vida permite a los equipos operar los pipelines de Flink de manera coherente en entornos de producción, en lugar de crear procesos personalizados para cada carga de trabajo.
Además, watsonx.data integration incorpora un ciclo operativo más estructurado para Flink basado en tres prácticas fundamentales.
1. Validar antes de pasar a producción.
Los equipos pueden previsualizar los pipelines utilizando datos de muestra y validar sus configuraciones antes del despliegue, lo que permite identificar posibles problemas en una fase más temprana del ciclo de desarrollo.
2. Mantener el flujo de datos ante cambios y errores.
Los equipos pueden redirigir los registros fallidos a Apache Kafka para analizarlos, así como reproducir y gestionar las desviaciones de los datos a medida que cambian los datos de entrada. Esto permite reducir el trabajo necesario para corregir incidencias.
3. Supervisar los datos en toda la empresa.
Los equipos pueden supervisar proactivamente los flujos de datos y utilizar la funcionalidad de observabilidad de datos integrada en watsonx.data integration para detectar cambios de esquema, problemas de calidad de los datos y comportamientos inusuales de los pipelines en tiempo real.
En conjunto, estas prácticas ayudan a convertir las cargas de trabajo de Flink en pipelines de datos de producción que se pueden desarrollar, gestionar y recuperar mediante procesos de ingeniería repetibles, en lugar de depender de tareas operativas personalizadas para cada caso de uso.
Ampliar el procesamiento de flujos a toda la empresa
El streaming empresarial rara vez empieza y termina en un único sistema. Los datos se distribuyen entre bases de datos transaccionales, sistemas mainframe, aplicaciones SaaS, archivos, almacenes de objetos, data warehouses y lakehouses.
IBM watsonx.data integration ayuda a conectar este ecosistema de datos más amplio con el procesamiento en tiempo real, mientras que los pipelines se ejecutan en Confluent Platform for Apache Flink.
Confluent proporciona el entorno de ejecución de streaming empresarial, mientras que watsonx.data integration ofrece la experiencia de ingeniería de datos necesaria para crear y gestionar los pipelines que se ejecutan en él.
En conjunto, estas soluciones ofrecen a las organizaciones una vía práctica para ampliar el uso de Flink más allá de un pequeño grupo de especialistas, incorporando más equipos de datos, datos empresariales y casos de uso a su infraestructura de streaming Confluent.
A medida que se amplía la adopción, las organizaciones pueden obtener más valor de su inversión en Confluent y, al mismo tiempo, convertir el procesamiento de flujos en una parte cada vez más integrada de la ingeniería de datos empresariales.
Obtenga más información sobre IBM watsonx.data integration for Apache Flink y descubra cómo IBM y Confluent pueden ayudar a llevar el procesamiento de flujos con Flink a más equipos de datos y casos de uso dentro de su empresa.
¿Preparados para empezar? Pruebe watsonx.data integration gratis.