Python ETL Script

Het hoofdscript dat dagelijks nieuwe data ophaalt en verwerkt:

import duckdb
import requests
import pandas as pd
from datetime import datetime

class RDWDataPipeline:
    def __init__(self):
        self.conn = duckdb.connect('rdw_data.db')
        
    def extract_rdw_data(self):
        """Haal data op van RDW Open Data API"""
        api_url = "https://opendata.rdw.nl/resource/m9d7-ebf2.json"
        response = requests.get(api_url, params={'$limit': 50000})
        return response.json()
        
    def transform_data(self, raw_data):
        """Transformeer data voor analyse"""
        df = pd.DataFrame(raw_data)
        # Data cleaning en transformaties
        df['datum_tenaamstelling'] = pd.to_datetime(df['datum_tenaamstelling'])
        df['catalogusprijs'] = pd.to_numeric(df['catalogusprijs'], errors='coerce')
        return df
        
    def load_to_duckdb(self, df):
        """Laad data in DuckDB database"""
        self.conn.execute("""
            CREATE TABLE IF NOT EXISTS voertuigen AS 
            SELECT * FROM df
        """)
        
    def run_pipeline(self):
        """Voer volledige pipeline uit"""
        print(f"Start pipeline: {datetime.now()}")
        raw_data = self.extract_rdw_data()
        transformed_data = self.transform_data(raw_data)
        self.load_to_duckdb(transformed_data)
        print(f"Pipeline voltooid: {datetime.now()}")

DuckDB Data Model

Geoptimaliseerde database structuur voor snelle query's:

-- Hoofd voertuig tabel
CREATE TABLE voertuigen (
    kenteken VARCHAR PRIMARY KEY,
    merk VARCHAR,
    handelsbenaming VARCHAR,
    datum_tenaamstelling DATE,
    catalogusprijs DECIMAL(10,2),
    massa_ledig_voertuig INTEGER,
    datum_eerste_toelating DATE,
    datum_eerste_afgifte_nederland DATE,
    wacht_op_keuren BOOLEAN,
    aantal_cilinders INTEGER,
    cilinderinhoud INTEGER,
    brandstof VARCHAR,
    co2_uitstoot_gecombineerd DECIMAL(5,1)
);

-- Voertuighistorie tabel
CREATE TABLE voertuig_historie (
    id INTEGER PRIMARY KEY,
    kenteken VARCHAR,
    mutatiedatum DATE,
    mutatiesoort VARCHAR,
    nieuwe_waarde VARCHAR,
    oude_waarde VARCHAR
);

-- Merk/model aggregatie
CREATE TABLE merk_model_stats AS
SELECT 
    merk,
    handelsbenaming,
    COUNT(*) as aantal_voertuigen,
    AVG(catalogusprijs) as gemiddelde_prijs,
    MIN(datum_eerste_toelating) as oudste_toelating,
    MAX(datum_eerste_toelating) as nieuwste_toelating
FROM voertuigen
GROUP BY merk, handelsbenaming;

DuckDB Performance

Web Tool Metrics

Pipeline Efficiency

Real-time Notificaties

• APK herinneringen per email
• Voertuig recall meldingen
• Waardevermindering alerts
• Verzekering updates

AI Features

• Voertuig waardeschatting met ML
• Anomaly detection in voertuig data
• Predictive maintenance insights
• Personalized voertuig aanbevelingen

Mobile App

• Native iOS en Android apps
• QR code kenteken scanning
• Offline toegang tot voertuig data
• Push notificaties