Inhoud
- ETL maakt knelpunten voor Analytics
- ETL stroomlijnen met Machine Learning en AI
- Geen bugs, geen stress - Uw stapsgewijze handleiding voor het creëren van levensveranderende software zonder uw leven te vernietigen
Bron: Pop Nukoonrat / Dreamstime.com
Afhaal:
Gegevens zijn cruciaal voor bedrijven, maar om nuttig te zijn, mogen er geen fouten zijn in het verzamelen, verwerken en presenteren van die gegevens. Kunstmatige intelligentie kan ETL-processen monitoren om ervoor te zorgen dat ze foutloos zijn.
ETL (extraheren, transformeren en laden) is een van de belangrijkste processen in big data-analyse - en tegelijkertijd kan het een van de grootste knelpunten zijn. (Ga voor meer informatie over big data naar 5 Nuttige big data-cursussen die u online kunt volgen.)
De reden dat ETL zo belangrijk is, is dat de meeste gegevens die een bedrijf verzamelt, in ruwe vorm niet gereed zijn om een analyseoplossing te verwerken. Om een analyseoplossing inzichten te geven, moeten de onbewerkte gegevens worden geëxtraheerd uit de applicatie waar deze zich momenteel bevindt, omgezet in een indeling die een analyseprogramma kan lezen en vervolgens in het analyseprogramma zelf worden geladen.
Dit proces is analoog aan koken. Uw onbewerkte ingrediënten zijn uw onbewerkte gegevens. Ze moeten worden geëxtraheerd (gekocht in een winkel), getransformeerd (gekookt) en vervolgens geladen (verguld), voordat ze kunnen worden geanalyseerd (geproefd). De moeilijkheid en kosten kunnen onvoorspelbaar schalen: het is gemakkelijk om zelf kaas te maken, maar veel moeilijker om een gastronomisch menu voor 40 personen te maken tijdens een etentje. Onnodig te zeggen dat een fout op elk moment uw maaltijd onverteerbaar kan maken.
ETL maakt knelpunten voor Analytics
ETL is in sommige opzichten de basis van het analyseproces, maar het heeft ook enkele nadelen. Allereerst is het langzaam en rekenkundig duur. Dit betekent dat bedrijven vaak alleen hun belangrijkste gegevens prioriteren voor analyse en de rest gewoon opslaan. Dit draagt ertoe bij dat tot 99% van alle bedrijfsgegevens ongebruikt blijft voor analytische doeleinden.
Bovendien is het ETL-proces nooit zeker. Fouten in het ETL-proces kunnen uw gegevens beschadigen. Een korte netwerkfout kan bijvoorbeeld voorkomen dat gegevens worden geëxtraheerd. Als uw brongegevens meerdere bestandstypen bevatten, worden deze mogelijk onjuist getransformeerd. Garbage in, garbage out, zoals ze zeggen - fouten tijdens het ETL-proces zullen zich vrijwel zeker uiten in termen van onjuiste analyses.
Een beschadigd ETL-proces kan slechte gevolgen hebben. Zelfs in het beste geval moet u waarschijnlijk de ETL opnieuw uitvoeren, wat een vertraging van uren betekent - en in de tussentijd zijn uw besluitvormers ongeduldig. In het ergste geval merkt u de onnauwkeurige analyses niet totdat u geld en klanten begint te verliezen.
ETL stroomlijnen met Machine Learning en AI
U kunt - en waarschijnlijk doen - iemand toewijzen om ETL te controleren, maar het is eerlijk gezegd niet zo eenvoudig. Slechte gegevens kunnen het gevolg zijn van procesfouten die zo snel gebeuren dat ze niet in realtime kunnen worden opgemerkt. De resultaten van een beschadigd ETL-proces zien er vaak niet anders uit dan correct geladen gegevens. Zelfs als fouten duidelijk zijn, is het probleem dat de fout heeft veroorzaakt mogelijk niet zo gemakkelijk te traceren. (Zie Taakrol: gegevensanalist voor meer informatie over het analyseren van gegevens.)
Het goede nieuws is dat machines kunnen vangen wat mensen niet kunnen. Dit zijn slechts enkele manieren waarop AI en machine learning ETL-fouten kunnen opvangen voordat ze onnauwkeurige analyses worden.
Geen bugs, geen stress - Uw stapsgewijze handleiding voor het creëren van levensveranderende software zonder uw leven te vernietigen
Je kunt je programmeervaardigheden niet verbeteren als niemand om softwarekwaliteit geeft.
1. Detecteer en waarschuw voor alle ETL-statistieken
Hoewel uw gegevens een constant bewegend beeld zijn, moet het ETL-proces nog steeds consistente waarden produceren met een constante snelheid. Wanneer deze dingen veranderen, is dat reden tot ongerustheid. Mensen kunnen grote schommelingen in de gegevens zien en fouten herkennen, maar machine learning kan subtielere fouten sneller herkennen. Het is mogelijk dat een machine learning-systeem real-time anomaliedetectie biedt en de IT-afdeling direct waarschuwt, waardoor ze het proces kunnen onderbreken en het probleem kunnen verhelpen zonder uren van rekeninspanningen te hoeven afleggen.
2. Bepaal specifieke knelpunten
Zelfs als uw resultaten nauwkeurig zijn, kunnen ze nog steeds te langzaam verschijnen om van nut te zijn. Gartner zegt dat 80% van de inzichten afgeleid van analyses zullen nooit worden benut om geldwaarde te creëren, en dat kan zijn omdat een bedrijfsleider geen inzicht in de tijd kan zien om ervan te profiteren. Machine learning kan u vertellen waar uw systeem vertraagt en u antwoorden geven - waardoor u sneller betere gegevens krijgt.
3. Kwantificeer de impact van verandermanagement
De systemen die uw gegevens en analyses produceren, zijn niet statisch - ze ontvangen voortdurend patches en upgrades. Soms beïnvloeden deze de manier waarop ze gegevens produceren of interpreteren, wat leidt tot onnauwkeurige resultaten. Machine learning kan resultaten die zijn gewijzigd markeren en deze traceren naar de specifieke gepatchte machine of applicatie.
4. Verlaag de operationele kosten
Vastgelopen analyse-activiteiten staan gelijk aan verloren geld. De tijd die u besteedt aan het uitzoeken van niet alleen het probleem, maar ook wie is verantwoordelijk voor het oplossen van het probleem is tijd die je zou kunnen besteden aan het opbouwen van waarde. Machine learning helpt de kern van de zaak te raken door alleen de teams te waarschuwen die mogelijk verantwoordelijk zijn voor het reageren op specifieke soorten incidenten, waardoor de rest van de IT-afdeling vrij blijft om kerntaken uit te voeren. Bovendien helpt machine learning valse positieven te elimineren, waardoor het totale aantal waarschuwingen wordt verminderd en de granulariteit van de informatie die ze kunnen bieden, wordt vergroot. Alert vermoeidheid is heel reëel, dus deze verandering zal een meetbare impact hebben op de kwaliteit van leven.
Als het gaat om winnen in het bedrijfsleven, is analyse cruciaal. Een mijlpaalstudie van Bain Capital toont aan dat bedrijven met analyses meer dan twee keer zoveel kans hebben om financieel te presteren. ETL biedt de basis voor succes in deze arena, maar vertragingen en fouten kunnen ook het succes van een analyseprogramma voorkomen. Machine learning wordt daarom een hulpmiddel van onschatbare waarde voor het succes van elk analyseprogramma, waardoor schone gegevens en nauwkeurige resultaten worden gegarandeerd.