Wat is PySpark?

PySpark Definitie

PySpark is de Python API voor Apache Spark, een open-source, gedistribueerd verwerkingsframework voor big data. Het combineert:

• De eenvoud van Python
• De kracht van Apache Spark
• Schaalbaarheid voor petabytes aan data

Kernconcepten van PySpark

Basis PySpark Code Voorbeeld

Een eenvoudige data-analyse met PySpark DataFrames:

# PySpark basisvoorbeeld
from pyspark.sql import SparkSession
from pyspark.sql.functions import *

# Start Spark sessie
spark = SparkSession.builder.appName("Voorbeeld").getOrCreate()

# Laad data
df = spark.read.csv("/data/verkopen.csv", header=True, inferSchema=True)

# Data transformaties
resultaat = (df
  .filter(col("bedrag") > 100)  # Filter grote transacties
  .groupBy("categorie")         # Groepeer per categorie
  .agg(
    count("*").alias("aantal"),
    sum("bedrag").alias("totaal"),
    avg("bedrag").alias("gemiddelde")
  )
  .orderBy("totaal", ascending=False)  # Sorteer op totaalbedrag
)

# Toon resultaten
resultaat.show(10)

# Schrijf naar parquet
resultaat.write.parquet("/output/verkoop_analyse")

Belangrijkste Voordelen van PySpark

1. Python-ecosysteem: Combineer Spark met NumPy, pandas, scikit-learn
2. Gedistribueerde verwerking: Verwerk terabytes aan data over een cluster
3. Lazy evaluation: Optimaliseert uitvoering automatisch
4. Streaming: Real-time dataverwerking met Structured Streaming
5. Machine learning: Spark MLlib voor schaalbare algoritmes

PySpark Code Generator

PySpark vs pandas

Veelgestelde Vragen