Ampliació de l’enginyeria de dades empresarials amb IBM watsonx.data integration for Apache Flink
IBM anuncia IBM® watsonx.data integration for Apache Flink per ajudar els equips d’enginyeria de dades a construir, operacionalitzar i escalar pipelins de streaming amb més facilitat.
Les dades en temps real han passat de ser un requisit especialitzat a convertir-se en una necessitat empresarial. La detecció del frau, les respostes de la cadena de subministrament, les experiències dels clients i els sistemes d’intel·ligència artificial depenen cada vegada més de dades que reflecteixin el que està passant en aquell mateix moment, i no hores més tard.
Apache Flink s’ha convertit en una tecnologia fonamental per al processament de fluxos amb estat, però aprofitar-ne tot el potencial a escala empresarial pot resultar complicat. La construcció i el manteniment de càrregues de treball Apache Flink en entorns de producció sovint requereixen enginyers amb coneixements especialitzats en estats distribuïts, punts de control, processament basat en el temps dels esdeveniments i comportament operatiu dels sistemes de streaming.
Per a moltes organitzacions, aquesta especialització pot convertir-se en un coll d’ampolla. Els casos d’ús de dades en temps real amb un gran valor potencial poden quedar pendents a l’espera d’un grup relativament reduït d’especialistes.
Avui anunciem IBM watsonx.data integration for Apache Flink, una solució dissenyada per facilitar als equips d’enginyeria de dades la creació i posada en funcionament de pipelines de streaming que s’executen a Confluent Platform for Apache Flink.
En incorporar pràctiques habituals d’enginyeria de dades al cicle de vida de Flink —des de la creació i validació fins a les operacions en producció—, podem ajudar les organitzacions a estendre el processament de fluxos a més equips i a treure més profit de la seva infraestructura de streaming Confluent.
Per què es pot estancar l’adopció d’Apache Flink?
Flink ofereix a les organitzacions capacitats avançades per processar contínuament les dades a mesura que es generen els esdeveniments. Tanmateix, adoptar el processament de fluxos de manera generalitzada requereix molt més que tenir accés a un entorn d’execució potent.
Els equips han de dissenyar els pipelines, connectar fonts i destinacions, gestionar errors, respondre als canvis d’esquema, recuperar les càrregues de treball i mantenir els estàndards de governança de manera segura quan alguna cosa falla. Quan cadascuna d’aquestes tasques depèn de coneixements especialitzats de Flink o de desenvolupaments a mida, resulta difícil estendre aquesta tecnologia més enllà d’un equip central de streaming.
A mesura que s’amplia l’adopció, apareix un altre repte: aplicar els controls empresarials de manera coherent. Els equips han de garantir les regles de qualitat de les dades i gestionar la informació confidencial sense haver de reconstruir aquests processos per a cada càrrega de treball de streaming.
Per tant, el repte no és simplement posar Flink a disposició dels equips, sinó fer que sigui pràctic perquè més professionals de dades puguin crear i gestionar càrregues de treball de producció sobre la infraestructura de streaming que ja té l’organització.
Facilitar la creació de pipelines amb Flink
IBM watsonx.data integration ofereix als equips diverses maneres de crear pipelines de streaming:
- Un llenç visual amb funcionalitat d’arrossegar i deixar anar.
- Creació de contingut assistida per intel·ligència artificial.
- Un SDK de Python.
Cada enfocament genera el mateix model de pipeline subjacent, que es tradueix en un graf de treball natiu de Flink i s’envia per executar-se a Confluent Platform for Apache Flink.
Per als enginyers de dades, això significa treballar amb conceptes coneguts, com ara fonts, processadors, consultes, finestres, encaminament, destinacions i gestió d’errors, sense que tots els professionals hagin de començar escrivint codi SQL de Flink.
Aquesta accessibilitat més àmplia no substitueix el desenvolupament natiu de Flink. Els especialistes avançats poden continuar utilitzant els enfocaments natius quan necessiten un control més profund, mentre que watsonx.data integration ofereix a més enginyers de dades una via familiar per treballar amb el mateix entorn d’execució de Flink. D’aquesta manera, les organitzacions poden ampliar l’ús de Confluent a més usuaris i càrregues de treball.
Facilitar l’escalabilitat d’Apache Flink a tota l’empresa
La creació de pipelines és només una part del repte. A mesura que les organitzacions incorporen més càrregues de treball de Flink a Confluent, executar pipelines de streaming en entorns de producció requereix les mateixes pràctiques d’enginyeria rigoroses que qualsevol altra càrrega de treball de dades crítica per al negoci.
IBM watsonx.data integration incorpora aquesta disciplina al cicle de vida de Flink i ajuda els equips a previsualitzar i validar els pipelines abans del desplegament, gestionar els canvis i errors d’esquema i preservar l’estat quan les càrregues de treball s’aturen i es reprenen.
La gestió centralitzada del cicle de vida permet als equips operar els pipelines de Flink de manera coherent en entorns de producció, en lloc de crear processos personalitzats per a cada càrrega de treball.
A més, watsonx.data integration incorpora un cicle operatiu més estructurat per a Flink basat en tres pràctiques fonamentals.
1. Validar abans de passar a producció.
Els equips poden previsualitzar els pipelines utilitzant dades de mostra i validar-ne les configuracions abans del desplegament, fet que permet identificar possibles problemes en una fase més primerenca del cicle de desenvolupament.
2. Mantenir el flux de dades davant de canvis i errors.
Els equips poden redirigir els registres fallits a Apache Kafka per analitzar-los, així com reproduir i gestionar les desviacions de les dades a mesura que canvien les dades d’entrada. Això permet reduir el treball necessari per corregir incidències.
3. Supervisar les dades a tota l’empresa.
Els equips poden supervisar proactivament els fluxos de dades i utilitzar la funcionalitat d’observabilitat de dades integrada a watsonx.data integration per detectar canvis d’esquema, problemes de qualitat de les dades i comportaments inusuals dels pipelines en temps real.
En conjunt, aquestes pràctiques ajuden a convertir les càrregues de treball de Flink en pipelines de dades de producció que es poden desenvolupar, gestionar i recuperar mitjançant processos d’enginyeria repetibles, en lloc de dependre de tasques operatives personalitzades per a cada cas d’ús.
Ampliar el processament de fluxos a tota l’empresa
El streaming empresarial rarament comença i acaba en un únic sistema. Les dades es distribueixen entre bases de dades transaccionals, sistemes mainframe, aplicacions SaaS, fitxers, magatzems d’objectes, data warehouses i lakehouses.
IBM watsonx.data integration ajuda a connectar aquest ecosistema de dades més ampli amb el processament en temps real, mentre que els pipelines s’executen a Confluent Platform for Apache Flink.
Confluent proporciona l’entorn d’execució de streaming empresarial, mentre que watsonx.data integration ofereix l’experiència d’enginyeria de dades necessària per crear i gestionar els pipelines que s’hi executen.
En conjunt, aquestes solucions ofereixen a les organitzacions una via pràctica per ampliar l’ús de Flink més enllà d’un petit grup d’especialistes, incorporant més equips de dades, dades empresarials i casos d’ús a la seva infraestructura de streaming Confluent.
A mesura que s’amplia l’adopció, les organitzacions poden obtenir més valor de la seva inversió en Confluent i, alhora, convertir el processament de fluxos en una part cada vegada més integrada de l’enginyeria de dades empresarials.
Obteniu més informació sobre IBM watsonx.data integration for Apache Flink i descobriu com IBM i Confluent poden ajudar a portar el processament de fluxos amb Flink a més equips de dades i casos d’ús dins de la vostra empresa.
Preparats per començar? Proveu watsonx.data integration gratuïtament.