Advanced Streaming Big Data mit Spark - E-Learning

Advanced Streaming Big Data mit Spark - E-Learning

Steigen Sie ein in die Echtzeit-Datenverarbeitung mit dem Kurs „Streaming Big Data mit Spark“, der speziell entwickelt wurde, um Ihnen beim Aufbau hochperformanter, skalierbarer Datenpipelines zu helfen, die Informationen direkt bei deren Entstehung verarbeiten. Dieser Kurs führt Sie in die Streaming-Funktionen von Apache Spark ein und ermöglicht Ihnen den Umgang mit kontinuierlichen Datenströmen für moderne Analyse- und Entscheidungssysteme.

Sie lernen, wie Sie großflächige Streaming-Daten mithilfe von Spark Streaming und Structured Streaming verarbeiten, Echtzeit-Datenquellen integrieren und fehlertolerante, skalierbare Pipelines aufbauen. Der Kurs deckt zudem wichtige Big-Data-Konzepte und praktische Anwendungsfälle aus Branchen wie dem Finanzwesen, dem Internet der Dinge (IoT) und dem E-Commerce ab.

Am Ende des Trainings werden Sie in der Lage sein, Echtzeit-Datenverarbeitungssysteme zu entwerfen und zu implementieren, die Analieranwendungen der nächsten Generation antreiben.

Hauptmerkmale

• Kurs und Materialien auf Englisch

• Niveau: Fortgeschrittene bis Experten (Intermediate - Advanced)

• 9 Stunden On-Demand-Videos

• 38 angeleitete Praxisübungen (Hands-on)

• 13 automatisch bewertete Tests (Assessments)

• 33 Wissensquizze zur Wiederholung

• 3 reale Praxisprojekte

• Mehr als 25 Stunden empfohlene Lernzeit

• 1 Jahr Zugriff auf die Lernplattform

• Inklusive Zertifikat bei Kursabschluss

Lernziele

• Ein umfassendes Verständnis der Spark-Laufzeitarchitektur (Runtime Architecture) erlangen

• Essenzielle DataFrame-Operationen und -Funktionen in Spark ausführen

• Die Grundlagen der Stream-Verarbeitung (Stream Processing) mit Spark erlernen

• Die direkte Integration von Spark Streaming mit Apache Kafka erforschen

• Mit Spark Streaming unter Verwendung von Amazon Kinesis arbeiten

• Sliding-Window-Operationen (gleitende Fenster) bei der Stream-Verarbeitung verstehen und anwenden

Zielgruppe

• Data Engineers, die mit Echtzeit-Datensystemen arbeiten

• Big-Data-Spezialisten und Spark-Entwickler

• Softwareentwickler, die in eine Data-Engineering-Rolle wechseln möchten

• Data Scientists mit Interesse an Streaming-Analytics

• Backend-Entwickler, die datenintensive Anwendungen erstellen

• IT-Profis, die mit großflächigen verteilten Systemen arbeiten

• Alle, die an Echtzeit-Datenverarbeitung und Spark interessiert sind

Voraussetzungen

• Grundlegendes Programmierverständnis (Java, Scala oder Python bevorzugt)

• Vertrautheit mit Big-Data-Konzepten und verteilten Systemen

• Basiswissen über Datenverarbeitungs- oder Analyse-Workflows

• Verständnis von Datenbanken und SQL (hilfreich, aber nicht zwingend erforderlich)

• Es sind keine vorherigen Erfahrungen mit Spark Streaming notwendig.

Kursinhalt

Die Spark-Laufzeitumgebung (The Spark Runtime)

• Das Spark RDD verstehen

• Das Spark DataFrame verstehen

• Übersicht über die Spark-Laufzeitarchitektur (Spark Runtime Architecture)

ETL mit Spark

• Map-Transformationen

• Die Transformationen

• Grundlegende Actions (Aktionen)

• Key-Value-Paar-Transformationen

• Join-Operationen

• Numerische RDD-Operationen und Sampling-Funktionen

• Partitionierung in Spark

• Partitionen in Spark steuern

• Verwendung externer Programme mit Spark

SparkSQL und DataFrames

• Spark SQL-Architektur

• Übersicht über die DataFrame-API

• Erstellen von DataFrames

• DataFrame-Datenmodell und Schemas

• Grundlegende DataFrame-Operationen

• DataFrame-Funktionen

• Mengenoperationen (Set Operations) und Aggregationen in DataFrames

• Speichern und Ausgeben von DataFrames (Storage & Output)

• DEMO: Spark SQL und DataFrames

Einführung in die Stream-Verarbeitung mit Spark

• Einführung in Spark Streaming

• Einführung in DStreams

• Die DStream-Operationen

Zustandsbehaftete Verarbeitung (Stateful Processing) mit Spark Streaming

• Die State-Operationen

• Einführung in Event Sourcing

• Demonstration von Stateful Streaming mit Spark

Sliding-Window-Operationen mit Spark Streaming

• Windowing-Operationen (Fensterungs-Operationen)

• Windowing-Funktionen

• DEMO: Sliding-Window-Operationen mit Spark Streaming

Einführung in Structured Streaming

• Übersicht über Structured Streaming

• Ausgabe-Modi (Output Modes) und Triggerung mit Structured Streaming

• DEMO: Einführung in Structured Streaming

Einführung in Apache Kafka

• Übersicht und Architektur von Apache Kafka

• Messaging mit Kafka

• DEMO: Lokale Installation von Apache Kafka

Kafka-Integration mit Spark Streaming

• Verwendung von Spark Streaming mit Apache Kafka

• Verwendung des Receiver-Ansatzes

• DEMO: Lokale Installation von Apache Kafka

• Verwendung des Direct-Ansatzes (Direktansatz)

• DEMO: Spark Streaming mit Apache Kafka unter Verwendung des Direct-Ansatzes

Kafka-Integration mit Structured Streaming

• Structured Streaming und Kafka

• Lesen und Schreiben von Daten in Kafka mittels Structured Streaming

• DEMO: Kafka und Structured Streaming

Verwendung von Spark Streaming mit Kinesis

• Nutzung der Amazon Kinesis Producer- und Client-Bibliotheken

• DEMO: Einführung in Amazon Kinesis

• Verwendung von Spark Streaming mit Amazon Kinesis

• DEMO: Verwendung von Spark Streaming mit Amazon Kinesis

• Verwendung von Structured Streaming mit Amazon Kinesis

• DEMO: Verwendung von Structured Streaming mit Amazon Kinesis

Zusätzliche Integrationen für Spark Streaming

• Spark Streaming unter Verwendung von MQTT

• Spark Streaming und Apache Flume

• Spark Streaming und Twitter

• Spark Streaming und Snowflake

• DEMO: Structured Streaming mit Snowflake

FAQ (Häufig gestellte Fragen)

Wird es über die On-Demand-Videos hinaus weitere Lernmaterialien geben?

Absolut! Das On-Demand-Lernerlebnis bietet weit mehr als nur Videos, um eine immersive Lernumgebung zu schaffen. Dazu gehören:

• LERNEN: Interaktive Wissensquizze zur Wiederholung und reale Fallstudien zur Festigung der Konzepte.

• BEWERTEN: Einstufungstests, modulbasierte Tests und Abschlussprüfungen, um Ihren Fortschritt zu verfolgen.

• PRÄSENTIEREN/ÜBEN: Praxisnahe Übungen mit realen Simulationen und Cloud-Labs.

• EINBLICKE GEWINNEN: Echtzeit-Analysen und Berichte, die Ihre Lernfortschritte, Herausforderungen und vorgeschlagenen Bereiche aufzeigen, die Sie für das Meistern der Schlüsselkompetenzen noch einmal vertiefen sollten.

Kann ich diesen Kurs neben meinem Vollzeitjob absolvieren?

Ja! Dieser Kurs ist auf maximale Flexibilität ausgelegt. Da er in einem Onlinemodus zum Selbststudium bereitgestellt wird, können Sie ganz nach eigenem Zeitplan lernen und sich weiterbilden. So lässt sich das Training perfekt mit Ihrem Hauptberuf vereinbaren.

Ist dieser Kurs für Anfänger geeignet?

Er eignet sich am besten für Lernende mit grundlegenden Programmierkenntnissen und ersten Berührungspunkten mit Big-Data-Konzepten.

Benötige ich Vorkenntnisse in Hadoop?

Nein, aber eine gewisse Vertrautheit mit Big-Data-Ökosystemen kann von Vorteil sein.

Wofür wird Spark Streaming verwendet?

Es wird zur Verarbeitung von Echtzeit-Datenströmen eingesetzt, wie z. B. Server-Logs, Finanztransaktionen, IoT-Sensordaten und Social-Media-Feeds.

Lerne ich die praktische Umsetzung?

Ja, der Schwerpunkt des Kurses liegt auf der praktischen Anwendung von Spark Streaming und dem Aufbau von Echtzeit-Pipelines.

Was ist der Unterschied zwischen Batch- und Streaming-Verarbeitung?

Die Batch-Verarbeitung verarbeitet Daten in festen Blöcken (Stapeln) zu bestimmten Zeiten, während die Streaming-Verarbeitung Daten kontinuierlich und in Echtzeit verarbeitet.

Ist Spark Streaming heute noch relevant?

Ja, es ist in produktiven Systemen für Echtzeit-Analysen weit verbreitet und gehört zu den Kernkompetenzen im Bereich Data Engineering.