LakeFormation & Unity Catalog: Data Governance in 2026

Data Governance in 2026: Waarom Nu Meer dan Ooit

De datawereld staat nooit stil. In 2026 beheren organisaties petabytes aan gevoelige data verspreid over meerdere clouds, on-premises systemen en SaaS-platforms. De AVG (GDPR) is inmiddels strenger gehandhaafd dan ooit — boetes van tientallen miljoenen euro's zijn geen uitzondering meer voor Nederlandse ondernemingen die hun databeleid niet op orde hebben. Tegelijkertijd eisen business-units snelle, zelfbedienings-analytics zonder weken te wachten op data-toegangsverzoeken.

Twee platformen domineren momenteel het debat rond enterprise data governance: AWS Lake Formation voor organisaties die zwaar inzetten op het AWS-ecosysteem, en Databricks Unity Catalog voor teams die werken met een multi-cloud of Spark-georiënteerde stack. Beide beloven fine-grained access control, centrale beheersbaarheid en compliance-ondersteuning — maar hun aanpak verschilt wezenlijk.

In dit artikel duiken we diep in beide oplossingen: hoe ze werken, wanneer je welke kiest, en hoe je ze productie-waardig implementeert. Met concrete codevoorbeelden, een eerlijke vergelijking en praktische tips voor Nederlandse data-engineers en architecten.

Unity Catalog: Architectuur en Werking

Unity Catalog introduceert een drielaags namespace: catalog.schema.table. Dit klinkt simpel, maar de consequenties zijn enorm. Waar je voorheen per Databricks-workspace een aparte metastore had (Hive Metastore), beheer je nu alle data-assets centraal — inclusief Delta-tabellen, externe tabellen, views, functies, ML-modellen en volumes.

Unity Catalog in de Praktijk: SQL-configuratie

-- Stap 1: Catalog aanmaken en rechten toewijzen
CREATE CATALOG IF NOT EXISTS prod_financials
  MANAGED LOCATION 's3://mijn-bedrijf-unity/prod-financials/';

GRANT USE CATALOG ON CATALOG prod_financials TO `data-analysts`;
GRANT USE CATALOG ON CATALOG prod_financials TO `data-engineers`;

-- Stap 2: Schema en tabel aanmaken
CREATE SCHEMA IF NOT EXISTS prod_financials.transactions
  COMMENT 'Financiële transactiedata - AVG-gevoelig';

CREATE TABLE prod_financials.transactions.betalingen (
  transactie_id   BIGINT        NOT NULL,
  klant_id        STRING        NOT NULL,
  bsn_hash        STRING        COMMENT 'Gehashte BSN - pseudoniem',
  bedrag          DECIMAL(12,2),
  valuta          STRING,
  land            STRING,
  aanmaak_datum   TIMESTAMP,
  verwerkt        BOOLEAN
)
USING DELTA
TBLPROPERTIES (
  'delta.enableChangeDataFeed' = 'true',
  'classification'             = 'confidential',
  'data_owner'                 = 'finance-team@bedrijf.nl'
);

-- Stap 3: Granulaire permissies
GRANT SELECT ON TABLE prod_financials.transactions.betalingen 
  TO `data-analysts`;

-- Engineers mogen alles
GRANT ALL PRIVILEGES ON SCHEMA prod_financials.transactions 
  TO `data-engineers`;

Row-Level Security met Row Filters

-- Row filter functie: analisten zien alleen transacties uit eigen regio
CREATE OR REPLACE FUNCTION prod_financials.transactions.filter_regio(land STRING)
RETURNS BOOLEAN
LANGUAGE SQL
COMMENT 'Beperkt rijen tot de regio van de ingelogde gebruiker'
AS $$
  CASE
    WHEN IS_MEMBER('nl-analysts') THEN land = 'NL'
    WHEN IS_MEMBER('be-analysts') THEN land = 'BE'
    WHEN IS_MEMBER('data-engineers') THEN TRUE  -- volledige toegang
    ELSE FALSE
  END
$$;

-- Filter toepassen op de tabel
ALTER TABLE prod_financials.transactions.betalingen
  SET ROW FILTER prod_financials.transactions.filter_regio ON (land);

-- Column mask voor BSN-hash: alleen security-team ziet de waarde
CREATE OR REPLACE FUNCTION prod_financials.transactions.mask_bsn(bsn_hash STRING)
RETURNS STRING
LANGUAGE SQL
AS $$
  CASE
    WHEN IS_MEMBER('security-team') THEN bsn_hash
    ELSE '***MASKED***'
  END
$$;

ALTER TABLE prod_financials.transactions.betalingen
  ALTER COLUMN bsn_hash SET MASK prod_financials.transactions.mask_bsn;

-- AVG Audit: wie heeft klantdata bekeken in de afgelopen 7 dagen?
SELECT 
  user_identity.email                           AS gebruiker,
  request_params.table_full_name                AS tabel,
  COUNT(*)                                      AS aantal_queries,
  MIN(event_time)                               AS eerste_toegang,
  MAX(event_time)                               AS laatste_toegang
FROM system.access.audit
WHERE action_name IN ('commandSubmit', 'runCommand')
  AND request_params.table_full_name LIKE 'prod_financials.transactions%'
  AND event_date >= CURRENT_DATE - INTERVAL 7 DAYS
GROUP BY 1, 2
ORDER BY aantal_queries DESC;

AWS Lake Formation: Architectuur en Werking

Lake Formation positioneert zich als de centrale permissie-broker bovenop het AWS data-ecosysteem. In plaats van direct S3-bucket policies en IAM-rollen te beheren, delegeer je alle data-toegang aan Lake Formation. Services als Athena, Glue, Redshift Spectrum, EMR en QuickSight respecteren deze permissies automatisch.

Lake Formation Configuratie via AWS CLI & CloudFormation

# Lake Formation data location registreren
aws lakeformation register-resource \
  --resource-arn arn:aws:s3:::mijn-data-lake-bucket \
  --use-service-linked-role \
  --region eu-west-1

# Database aanmaken in Glue Catalog
aws glue create-database \
  --database-input '{
    "Name": "financiele_data",
    "Description": "AVG-gevoelige financiële transacties",
    "Parameters": {
      "classification": "confidential",
      "data_owner": "finance-team@bedrijf.nl"
    }
  }'

# Lake Formation permissies toekennen: SELECT op specifieke kolommen
aws lakeformation grant-permissions \
  --principal DataLakePrincipalIdentifier=arn:aws:iam::123456789012:role/DataAnalystRole \
  --resource '{
    "TableWithColumns": {
      "DatabaseName": "financiele_data",
      "Name": "betalingen",
      "ColumnWildcard": {
        "ExcludedColumnNames": ["bsn_hash", "rekeningnummer_raw"]
      }
    }
  }' \
  --permissions SELECT \
  --permissions-with-grant-option []

# CloudFormation: Lake Formation Data Filter voor rij-niveau beveiliging
Resources:
  NLOnlyDataFilter:
    Type: AWS::LakeFormation::DataCellsFilter
    Properties:
      TableCatalogId: !Ref AWS::AccountId
      DatabaseName: financiele_data
      TableName: betalingen
      Name: nl_transactions_only
      RowFilter:
        FilterExpression: "land = 'NL'"
      ColumnWildcard:
        ExcludedColumnNames:
          - bsn_hash
          - rekeningnummer_raw

  AnalystPermission:
    Type: AWS::LakeFormation::PrincipalPermissions
    Properties:
      Principal:
        DataLakePrincipalIdentifier: !Sub 
          "arn:aws:iam::${AWS::AccountId}:role/NLDataAnalystRole"
      Resource:
        DataCellsFilter:
          TableCatalogId: !Ref AWS::AccountId
          DatabaseName: financiele_data
          TableName: betalingen
          Name: nl_transactions_only
      Permissions:
        - SELECT
      PermissionsWithGrantOption: []

Unity Catalog vs. Lake Formation: Eerlijke Vergelijking

{
  "Effect": "Deny",
  "Principal": "*",
  "Action": "s3:GetObject",
  "Resource": "arn:aws:s3:::mijn-data-lake-bucket/*",
  "Condition": {
    "StringNotLike": {
      "aws:PrincipalArn": [
        "arn:aws:iam::*:role/aws-service-role/lakeformation.amazonaws.com/*",
        "arn:aws:iam::123456789012:role/DataLakeAdmin"
      ]
    }
  }
}

Hybride Aanpak: Lake Formation + Unity Catalog

In 2026 kiezen veel Nederlandse organisaties niet voor óf/óf maar voor een hybride governance-model: AWS Lake Formation als de authoritative permissie-laag op S3-niveau, gecombineerd met Unity Catalog als de Databricks-governance-laag die external locations gebruikt.

Unity Catalog External Location naar S3

-- External Location aanmaken in Unity Catalog die verwijst naar S3
-- (vereist een Storage Credential met AWS IAM Role)
CREATE STORAGE CREDENTIAL aws_s3_prod
  WITH AWS IAM ROLE arn:aws:iam::123456789012:role/DatabricksUnityRole
  COMMENT 'Productie S3 toegang voor Unity Catalog';

CREATE EXTERNAL LOCATION prod_s3_financials
  URL 's3://mijn-data-lake-bucket/financials/'
  WITH (STORAGE CREDENTIAL aws_s3_prod)
  COMMENT 'Financiële data opgeslagen in AWS S3';

GRANT READ FILES ON EXTERNAL LOCATION prod_s3_financials TO `data-engineers`;

-- External tabel registreren vanuit S3
CREATE TABLE prod_financials.transactions.betalingen_external
  USING DELTA
  LOCATION 's3://mijn-data-lake-bucket/financials/delta/betalingen/';

-- Verificatie: Unity Catalog enforce de permissies,
-- onderliggende S3 is beschermd via Lake Formation + IAM
DESCRIBE EXTENDED prod_financials.transactions.betalingen_external;

AVG Compliance: Concrete Maatregelen

Voor Nederlandse organisaties is AVG-compliance geen nice-to-have maar een wettelijke verplichting. Beide governance-platforms bieden bouwstenen, maar de implementatie vereist bewuste keuzes.

-- Unity Catalog: AVG-tags toewijzen aan kolommen
ALTER TABLE prod_financials.transactions.betalingen
  ALTER COLUMN klant_id SET TAGS ('pii' = 'true', 'data_subject' = 'klant');

ALTER TABLE prod_financials.transactions.betalingen
  ALTER COLUMN bsn_hash SET TAGS ('pii' = 'true', 'special_category' = 'false',
                                   'pseudonymized' = 'true');

-- Query: welke kolommen zijn PII in onze productie-catalogs?
SELECT 
  catalog_name,
  schema_name,
  table_name,
  column_name,
  tag_name,
  tag_value
FROM system.information_schema.column_tags
WHERE tag_name = 'pii' 
  AND tag_value = 'true'
  AND catalog_name LIKE 'prod_%'
ORDER BY catalog_name, table_name;

-- GDPR Erasure: verwijder alle data van klant
DELETE FROM prod_financials.transactions.betalingen
WHERE klant_id = :klant_id_param;

-- Loggen van de erasure actie
INSERT INTO prod_governance.audit.erasure_log VALUES (
  current_timestamp(),
  :klant_id_param,
  'betalingen',
  current_user(),
  'GDPR_ERASURE_REQUEST',
  :ticket_id
);

Best Practices voor Productie-implementatie

Terraform: Unity Catalog Infrastructure as Code

# terraform/unity_catalog/main.tf
terraform {
  required_providers {
    databricks = {
      source  = "databricks/databricks"
      version = "~> 1.38"
    }
  }
}

# Catalog aanmaken
resource "databricks_catalog" "prod_financials" {
  name    = "prod_financials"
  comment = "Productie financiële data - AVG-gevoelig"
  
  storage_root = "s3://mijn-bedrijf-unity/prod-financials/"
  
  properties = {
    data_classification = "confidential"
    data_owner          = "finance-team@bedrijf.nl"
    gdpr_applicable     = "true"
  }
}

# Schema
resource "databricks_schema" "transactions" {
  catalog_name = databricks_catalog.prod_financials.name
  name         = "transactions"
  comment      = "Transactiedata"
}

# Groep: data-analysts
resource "databricks_group" "data_analysts" {
  display_name = "data-analysts"
}

# Permissies: analisten mogen catalog en schema gebruiken
resource "databricks_grants" "catalog_usage" {
  catalog = databricks_catalog.prod_financials.name

  grant {
    principal  = databricks_group.data_analysts.display_name
    privileges = ["USE_CATALOG"]
  }
}

resource "databricks_grants" "schema_usage" {
  schema = "${databricks_catalog.prod_financials.name}.${databricks_schema.transactions.name}"

  grant {
    principal  = databricks_group.data_analysts.display_name
    privileges = ["USE_SCHEMA", "SELECT"]
  }
}