Inhoud
- Geen bugs, geen stress - Uw stapsgewijze handleiding voor het creëren van levensveranderende software zonder uw leven te vernietigen
- Down to Business
- Hoe Kafka datamanagement zal veranderen
Afhaal:
Kafka doet voor informatiesystemen wat LinkedIn doet voor zakenmensen: houd ze verbonden over een breed bereik.
Door hartstochtelijk in iets te geloven dat nog steeds niet bestaat, creëren we het. Het niet-bestaande is alles wat we niet voldoende hebben gewenst.~ Franz Kafka
Noodzaak blijft de moeder van de uitvinding. Zoals een scherpzinnige consultant me ooit vertelde: "Als er iets is dat moet gebeuren in een organisatie, gebeurt het." Zijn punt was tweeledig: 1) sommige mensen zullen altijd een manier vinden om dingen voor elkaar te krijgen; en, 2) senior management, of zelfs middle-management, weet misschien niet precies hoe dingen binnen hun eigen vestiging worden gedaan.
Als we die metafoor uitbreiden naar het hele universum van gegevensbeheer, zien we nu een transformatie plaatsvinden. De ruwe druk van big data, gecombineerd met de as van streaming data, creëert zoveel druk dat legacy-systemen aan de randen rafelen, of zelfs helemaal instorten. Niettemin zijn er op dit moment talloze professionals bezig met hun werk, die zich grotendeels niet bewust zijn van deze realiteit.
De gegevensgestuurde, gegevensgestuurde ondernemingen staan op de eerste rij en dragen in veel opzichten bij aan deze verandering. Overweeg hoe grootmachten als Yahoo !, en LinkedIn de enterprise software-industrie opzij hebben gezet met hun wonderbaarlijke donaties naar open-source: Hadoop, Cassandra en nu Kafka, die allemaal zijn opgestart door de Apache Foundation, zelf een centrale speler in deze metamorfose .
Wat is het resultaat van al deze verandering? Wat vandaag getuige was, is de categorische herindeling en herstructurering van gegevensbeheer zelf. Dit wil niet zeggen dat oudere systemen nu worden verwijderd en vervangen. Elke veteraan in de branche zal je vertellen dat de groothandel in oudere systemen ongeveer net zo vaak gebeurt als de Chicago Cubs de World Series winnen. Het is op zijn zachtst gezegd een zeldzame gebeurtenis.
Wat er echt gebeurt, is dat er een superstructuur wordt gebouwd rondom de oude systemen. Overweeg de analogie van snelwegen, die vaak uitsteken boven de steden en dorpen die ze bedienen, ontworpen om mensen en vracht in deze bevolkingscentra te brengen en uitstappen te bieden aan alles en iedereen binnen hen. Ze vervangen bestaande wegen niet zozeer, maar vergroten ze met snelle alternatieven.
Dat is precies wat Apache Kafka doet: het biedt snelle routes voor gegevensbewegingen tussen en tussen informatiesystemen. Om de snelweganalogie te volgen, zijn er nog steeds veel bedrijven die lineaire wachtrijen gebruiken, of de oude standaard van ETL (extract-transform-load); maar deze paden hebben lage snelheidslimieten en er zijn veel kuilen; bovendien zijn onderhoudskosten vaak exorbitant; bewegwijzering is slecht.
Kafka biedt een alternatieve methode voor het leveren van gegevens, een methode die beslist realtime, schaalbaar en duurzaam is. Dit betekent dat Kafka niet alleen een voertuig voor gegevensbeweging is, maar ook een gegevensreplicator; en tot op zekere hoogte, een gedistribueerde database-technologie. We moeten voorzichtig zijn om de analogie te ver te nemen, omdat er kenmerken zijn van ACID-compatibele databases die Kafka nog niet sport. Toch is de verandering echt.
Dit is geweldig nieuws voor het informatielandschap, want gegevens kunnen nu vrij door het land worden verplaatst - en de wereld trouwens. Wat ooit een pijnlijke beperking was, namelijk het raken van batch-vensters voor ETL-processen, verdrijft nu veel terwijl de mist plaatsmaakt voor heldere luchten onder de schittering van een hete zon. Wanneer het verplaatsen van gegevens van het ene systeem naar het andere naadloos wordt, begint een tijdperk van nieuwe kansen.
Geen bugs, geen stress - Uw stapsgewijze handleiding voor het creëren van levensveranderende software zonder uw leven te vernietigen
Je kunt je programmeervaardigheden niet verbeteren als niemand om softwarekwaliteit geeft.
Mensen zullen waarschijnlijk de meeste wrijving vertegenwoordigen op weg naar nieuwe gegevens. Oude gewoontes zijn moeilijk af te leren. Nary een CIO wordt te enthousiast over het aanbrengen van groothandelswijzigingen in bedrijfssystemen. Zei een slimme senior executive van de rol: "Maak je klaar om eenzaam te zijn." Binnen een jaar na die opmerking was hij consultant. Het is geen gemakkelijke weg om de opmerkelijk logge wereld van bedrijfsgegevens te beheren.
Het goede nieuws is dat Kafka een oprit naar de toekomst biedt. Omdat het dient als een krachtige, veelzijdige bus, slaat het bruggen tussen oudere systemen en hun toekomstgerichte tegenhangers. Zo zullen organisaties die deze nieuwe kans met open geest en voldoende budget omarmen, in de nieuwe wereld kunnen stappen, zonder de oude achter zich te laten. Dat is een serieus probleem.
Down to Business
Hoewel Apache Kafka een open-source technologie is, gratis voor iedereen om te downloaden en te gebruiken, hebben de mensen die deze software voor LinkedIn hebben gemaakt een aparte entiteit genaamd Confluent ontwikkeld, die zich richt op het verharden van het aanbod voor zakelijk gebruik. Net als Cloudera hebben Hortonworks en MapR hun bedrijven opgebouwd rond het open-sourceproject van Apache Hadoop, dus Confluent probeert geld te verdienen met Kafka.
In een recent InsideAnalysis-interview verklaarde Confluent CEO en mede-oprichter Jay Kreps de oorsprong op LinkedIn:
"We probeerden daar een paar verschillende problemen op te lossen. Eén was, we hadden al die verschillende gegevenssystemen met verschillende soorten gegevens. We hadden databases en we hadden logbestanden en we hadden metrieken over servers en we hadden gebruikers die op dingen klikten. Het was heel moeilijk om al die gegevens rond te krijgen - omdat het groot werd - De kracht van de gegevens was er alleen als je het kon krijgen naar de applicaties, of de verwerking, of de systemen die het nodig hadden. Dat was een groot probleem.
"Het andere probleem dat we hadden was dat we Hadoop hadden geadopteerd, en dat was iets waar ik bij betrokken was. We hadden dit fantastische offline verwerkingsplatform dat we konden schalen en we konden al onze gegevens erin plaatsen. Voor LinkedIn gebeurden al onze gegevens in het echt tijd. Er was een continue generatie van gegevens. Er was altijd een mismatch toen we probeerden om belangrijke delen van het bedrijf te bouwen op basis van onze gegevens; tussen iets dat eenmaal per dag liep, misschien 's nachts, en de volgende dag resultaten opleverde, en dit soort continue gegevens - korte interactietijden - die je moest inhalen. We wilden iets kunnen doen dat al een tijdje in de academische wereld bestaat, maar het was niet echt een mainstream ding, dat is om te kunnen gebruik maken van gegevensstromen en deze verwerken zoals ze zijn gegenereerd, in plaats van zoals ze waren. "
Goed. Dat is precies wat Confluent nu probeert te doen met bedrijfsgegevens in alle soorten en maten. De mogelijkheid om te spelen? Greenfield. Eerlijk gezegd zou men in de hele geschiedenis van bedrijfssoftware kunnen stellen dat de adresseerbare markt voor deze technologie absoluut de taart neemt. Er is geen enkele grote organisatie, of zelfs data-zwaar klein bedrijf, dat niet enorm kan profiteren van deze technologie.
Dit geldt met name vanwege het neurologische aspect van deze technologie; niet alleen de betrokken geest, maar de aard van wat Kafka doet voor informatiesystemen. Omdat Kafka kan worden gebruikt om de verplaatsing van gegevens binnen een organisatie te beheren, kan het worden beschouwd als meer dan alleen een verkeersagent, maar eerder het brein van de operatie zelf. Stonden in de vroege stadia van die visie, maar wees gerust, het is echt.
Hoe Kafka datamanagement zal veranderen
Om te begrijpen hoe Kafka de aard van gegevensbeheer zal veranderen, moet u eens nadenken over de manieren waarop LinkedIn het netwerken heeft veranderd. Collega's vinden is zoveel eenvoudiger geworden; contact houden met mensen is nu een fluitje van een cent. Kafka zal voor informatiesystemen doen wat LinkedIn doet voor zakenmensen: houd ze verbonden over het breedste bereik van deze aarde.
De spin-off van Confluent staat symbool voor iets dat we de nieuwe innovatie zouden kunnen noemen, een beweging die wordt aangedreven door de ontkoppeling van softwareontwikkeling en closed-source mentaliteit, geleid door de makers van open-source technologie, aangewakkerd door grote hoeveelheden risicokapitaal, geminimaliseerd door bedrijven met winstoogmerk die een revolutie teweeg willen brengen in de manier waarop organisaties en mensen gegevens creëren, verzamelen, analyseren en benutten.
Om Franz Kafka te citeren: "Vanaf een bepaald punt is er geen weg meer terug. Dat is het punt dat moet worden bereikt."
We zijn de Rubicon gepasseerd. Er is nu geen weg meer terug.