Confluent: l’innovazione per lo streaming dei dati

Il futuro per le aziende è passare da un’idea statica dei dati ad una dinamica, in tempo reale, per avere sempre un’idea precisa di ciò che sta accadendo e poter agire di conseguenza

I dati oggi pervadono ogni attività delle imprese e le aziende che vogliono davvero innovare non possono prescindere da una gestione e analisi dell’infinita quantità di informazioni che arriva dai clienti, ma anche da altre fonti. I dati non sono più statici, non sono un semplice deposito di cose accadute, ma descrivono in tempo reale ciò che i clienti fanno nel momento in cui lo fanno. Oggi sono come una sequenza praticamente infinita di eventi, che riguardano qualsiasi possibile tipo di azione, evento o cambiamento identificato, registrato dai software o dalle applicazioni: assistiamo ad un vero e proprio streaming dei dati, in tempo reale. Kafka è una piattaforma di event streaming open source e la soluzione Confluent, interamente gestita e basata su Apache Kafka open source, è in grado di gestire i servizi di data in motion in tempo reale e permette di semplificare notevolmente le attività su Kafka, grazie a connettori predefiniti per diverse origini di dati.

Quando serve il data streaming

I casi d’uso tradizionali per le piattaforme di data streaming comprendono le applicazioni Web, gli acquisti online, le attività per il gaming, le informazioni provenienti dai social network e dal messaging. L’attenzione si sta spostando oggi sulla valorizzazione degli event streaming come parte dell’ecosistema dei dati. L’utilizzo di Kafka si è diffuso, da una semplice piattaforma utilizzata dagli sviluppatori per il messaging è diventata una soluzione universale completa per applicazioni e data pipeline.
L’idea di Confluent è che le piattaforme di data streaming diventeranno il “sistema nervoso centrale” per le imprese, collegando e analizzando tutto ciò che sta avvenendo in tempo reale. Proprio questa è l’innovazione profonda del sistema Confluent, passare da un’idea statica dei dati ad una dinamica, in tempo reale, per avere sempre un’idea precisa di ciò che sta accadendo.
Come dimostra uno studio del 2022 di IDC sui data streaming, le imprese più affidabili dal punto di vista digitale stanno ripensando le proprie architetture software spostandosi verso una gestione in tempo reale. Oltre l’80% delle aziende intervistate afferma che nei prossimi 12-18 mesi effettuerà delle ricerche o investirà in nuove funzionalità di streaming. Le attività per le quali diventa essenziali sono quelli in cui la rapidità d’azione è una necessità; tra questi vi sono la gestione della sicurezza e dei rischi, tutto ciò che concerne l’esperienza del cliente e i dati finanziari in tempo reale.
Il passaggio dal trasferimento di dati in batch al data streaming risulta essere in linea con le molte altre innovazioni dell’ecosistema di dati di oggi: le distribuzioni on-premise si stanno spostando nel cloud, le grandi applicazioni si stanno evolvendo in microservizi . Tutto ciò implica il concetto di decentramento, che è una parte intrinseca alla struttura stessa dello streaming dei dati.

Perché usare una piattaforma di data streaming è innovativo

immaginare che una piattaforma di data streaming venga messa al centro di un ecosistema di dati favorisce innovativi modi di strutturare i progetti di dati: l’acquisizione diretta in streaming per il training di modelli predittivi (anche direttamente dai dati all’edge), la distribuzione di modelli e di analisi in tempo reale con conseguente live-action, il potenziamento del controllo in tempo reale di possibili violazioni dei dati e della sicurezza. Inoltre è importante prendere in considerazione due caratteristiche di Kafka: la grande capacità di archiviazione e il linguaggio KSQL che consente l’elaborazione dei dati in modalità streaming utilizzando un linguaggio simile ad SQL. Tali caratteristiche rappresentano un nuovo modo di vedere Kafka: eseguire l’analisi batch su Kafka senza archiviare i dati in un grande data storage e leggerli direttamente, potrebbe consentirci di gestire, in futuro, tutti i nostri dati senza un data lake.

 

Superare i limiti di Kafka

I dati in tempo reale stanno diventando una necessità. Ma anche una piattaforma open source, ad alta codifica, orientata agli sviluppatori come Kafka, per quanto molto popolare, presenta dei limiti. Quando le quantità di dati iniziano ad aumentare, sono necessari grandi sforzi di gestione. Di solito le aziende che non hanno dimestichezza con l’elaborazione di informazioni in streaming iniziano con una fase di sperimentazione (che è più adatta per Kafka). Quando però il progetto diventa significativo e mission-critical e le aziende scalano per collegare Kafka a una o più linee commerciali, è probabile che Kafka non sia più sufficiente.
Utilizzare Kafka da solo può essere faticoso, soprattutto perché privo di alcune importanti caratteristiche di gestione di cui un’impresa ha bisogno. Man mano che l’organizzazione cresce, di pari passo cresce la necessità di personale per la sua gestione. Tutto ciò implica un onere per coloro che lo utilizzano e fa lievitare i costi.
Questi fenomeni hanno portato alla ricerca di nuovi sistemi, più semplici e meglio collegati. Confluent è proprio una di queste soluzioni. Basato su Apache Kafka open source, può essere distribuito come offerta SaaS cloud native o come software autogestito. L’offerta cloud native può essere eseguita su un’infrastruttura multicloud o cloud ibrida. È costruito per gestire i dati in tempo reale e, finora, gli utenti più importanti provengono dal settore finanziario, dal retail ed e-commerce, da quello manifatturiero e dal media & entertainment.

Ridurre del 60% il TCO di Kafka

L’idea alla base della soluzione Confluent, è che la piattaforma per lo streaming di eventi sarà la singola
piattaforma dati più strategica in ogni azienda moderna. Per contribuire a realizzarla è nato Confluent Cloud,
nativo sul cloud, completamente gestita e basata su tecnologia Apache Kafka. I clienti che utilizzano Confluent Cloud hanno registrato una riduzione fino al 60% dei costi totali di configurazione e gestione di Kafka. Per dimostrare il valore aziendale di Confluent Cloud, la società offre un’analisi gratuita dei costi di gestione di Kafka e del potenziale ritorno sull’investimento (ROI) derivante dall’utilizzo di un servizio nativo su cloud completamente gestito.

Servizio gestito

Il passaggio a un servizio Kafka completamente gestito rimuove l’onere di una distribuzione autogestita per il team e l’azienda, eliminando gli sforzi operativi e riducendo i costi in modo che i gruppi di progettazione possano rilasciare rapidamente i nuovi progetti aziendali.
Tuttavia, non tutti i servizi gestiti vengono creati nello stesso modo. Molti servizi Kafka si definiscono “completamente gestiti”, ma la definizione spesso significa cose diverse. A un estremo della gamma si collocano le esperienze davvero native su cloud, in cui le caratteristiche del prodotto e l’automazione eliminano gli sforzi operativi, consentendo ai team di concentrarsi sulle loro applicazioni.
Questo è il caso di Confluent Cloud. All’altro estremo troviamo offerte piene di funzionalità Kafka standard, non disponibili o supportate dal provider, e a questo consegue l’obbligo per i team di creare codice personalizzato senza alcun supporto. Tra i due estremi si collocano dei servizi che cercano di vendersi come completamente gestiti, quando in realtà sono solo operazioni manuali con l’aggiunta di alcuni strumenti di assistenza.
Idealmente, ogni passo del percorso verso lo streaming di eventi è nativo su cloud per natura. Il profilo di un servizio nativo su cloud può essere suddiviso in quattro caratteristiche.

Scalabilità elastica

È possibile eseguire il provisioning dei Kafka Cluster con bilanciamento automatico, serverless, on demand, scalabile in modo elastico tra 0-100 MBps o ottenere una scalabilità GBps+ con pochi clic. Un’elasticità istantanea di questo tipo significa che è possibile scalare facilmente per soddisfare una domanda inaspettata e ridimensionare rapidamente per gestire i costi. Si paga ciò di cui si ha bisogno, quando ne si ha bisogno e non di più.

Accesso globale

Gli studi hanno dimostrato che l’80% delle aziende utilizza più di un provider di servizi cloud. Se sei uno dei fortunati con un unico provider, ciò è fantastico. In caso contrario, una distribuzione di Kafka che funziona solo in un unico ambiente riduce la tua capacità di sfruttare i dati in movimento in tutta l’azienda e nelle varie esperienze dei clienti. Confluent consente di collegare i Kafka Cluster che si sincronizzano in tempo reale, in modo che i gli eventi siano disponibili ovunque, su diversi cloud pubblici o privati.

Storage infinito

Archivia quantità illimitate di dati sui Kafka Cluster, senza alcuna pianificazione o provisioning iniziale della capacità. Kafka diventa un sistema di registrazione in modo che il team tecnico possa fare di più. Inoltre, non è necessario allocare risorse per combattere con i tempi di inattività dovuti a guasti correlati o allo spazio su disco.

Una piattaforma completa

Confluent fa molto di più che gestire Kafka. Il team tecnico ha a disposizione una piattaforma completa su misura, in modo che possa eseguire rapidamente i progetti. Vengono forniti connectors pronti all’uso per le origini/i sink di dati più diffusi nell’ecosistema Kafka, un registro dello schema per mantenere l’integrità dei dati, un database di streaming di eventi con ksqlDB e molto altro, il tutto completamente gestito nella stessa interfaccia utente cloud.

L’approccio di Confluent

L’obiettivo di Confluent è quello di offrire un approccio essenzialmente consulenziale. Innanzitutto, per comprendere la situazione attuale di un cliente e le sue esigenze. Il cliente è nuovo allo streaming di eventi? Ha già installato Kafka open source in un ambiente autogestito? Non è soddisfatto della soluzione o del provider esistente? Il tutto parte dalla convinzione che ogni cliente sia unico. Per questo, la società punta a comprenderne la situazione attraverso un dettagliato processo di discovery e quindi ad allineare l’approccio di conseguenza.

Il vantaggio del time-to-market

Ogni minuto speso a gestire Kafka o ad aspettare che questo venga configurato è tempo sottratto alla creazione di esperienze e nuovi prodotti per i clienti. Gli sviluppatori e le organizzazioni che utilizzano Confluent hanno concluso in sei mesi progetti che avrebbero richiesto due anni, talvolta vengono addirittura conclusi in poche settimane.

Per maggiori informazioni Clicca QUI

Digitalic per Confluent