Apache Spark

Schrijver: Eugene Taylor
Datum Van Creatie: 8 Augustus 2021
Updatedatum: 1 Juli- 2024
Anonim
Что такое Apache Spark
Video: Что такое Apache Spark

Inhoud

Definitie - Wat betekent Apache Spark?

Apache Spark is een open-sourceprogramma dat wordt gebruikt voor data-analyse. Het maakt deel uit van een groter pakket hulpmiddelen, waaronder Apache Hadoop en andere open-sourcebronnen voor de hedendaagse analysecommunity.


Experts beschrijven deze relatief nieuwe open-source software als een data-analyse cluster computing tool. Het kan worden gebruikt met het Hadoop Distributed File System (HDFS), een bepaalde Hadoop-component die gecompliceerde bestandsverwerking mogelijk maakt.

Sommige IT-professionals beschrijven het gebruik van Apache Spark als een potentiële vervanging voor de component Apache Hadoop MapReduce. MapReduce is ook een clusteringstool waarmee ontwikkelaars grote hoeveelheden gegevens kunnen verwerken. Degenen die het ontwerp van Apache Spark begrijpen, wijzen erop dat het in sommige situaties vele malen sneller kan zijn dan MapReduce.

Een inleiding tot Microsoft Azure en de Microsoft Cloud | In deze gids leert u waar cloud computing over gaat en hoe Microsoft Azure u kan helpen bij het migreren en runnen van uw bedrijf vanuit de cloud.

Techopedia legt Apache Spark uit

Uit rapporten over het moderne gebruik van Apache Spark blijkt dat bedrijven het op verschillende manieren gebruiken. Een veelgebruikt gebruik is het verzamelen en structureren van gegevens op meer verfijnde manieren. Apache Spark kan ook nuttig zijn bij het machine-learningwerk van analyses of gegevensclassificatie.


Normaal gesproken staan ​​organisaties voor de uitdaging om gegevens op een efficiënte en enigszins geautomatiseerde manier te verfijnen, waarbij Apache Spark voor dit soort taken kan worden gebruikt. Sommigen impliceren ook dat het gebruik van Spark kan helpen toegang te geven tot degenen die minder kennis hebben van programmeren en betrokken willen worden bij de verwerking van analyses.

Apache Spark bevat API's voor Python en gerelateerde softwaretalen.