🔄 Update — 28. Juni 2026: Native Anbindung von Microsoft OneLake und neue DP-750-Zertifizierung

Azure Databricks erweitert seine Integration im Azure-Ökosystem durch die native Anbindung an Microsoft Fabric OneLake und die Veröffentlichung der neuen DP-750-Zertifizierung für Data Engineers. Damit können Unternehmen Datenduplikationen reduzieren und ihre Expertise im Bereich Databricks-Architektur gezielter nachweisen. Diese Updates erleichtern die abteilungsübergreifende Zusammenarbeit und verbessern die Qualifizierung von Data-Engineering-Teams.

Was ist neu?

• Microsoft OneLake Integration: Azure Databricks bietet ab sofort native Lesezugriffe (General Availability) auf Daten in Microsoft Fabric OneLake und native Schreibzugriffe (Public Beta) für verwaltete Delta-Tabellen über Unity Catalog.
• DP-750-Zertifizierung: Microsoft hat das neue Examen „DP-750: Azure Databricks Data Engineer Associate“ eingeführt, das Kernkompetenzen in den Bereichen Bereitstellung, Governance (Unity Catalog), Datenverarbeitung und Pipeline-Wartung prüft.

Warum es den Artikel ergänzt

Dieses Update zeigt, dass Azure Databricks seine Stellung als zentrales Werkzeug für moderne Datenarchitekturen weiter festigt, indem es einerseits die Barrieren zwischen Microsoft Fabric und Databricks abbaut und andererseits einen offiziellen Standard für Data-Engineering-Kompetenzen schafft.

---

🔄 Update — 19. Juni 2026: Marktplatz-Apps, automatisierte Governance und erweiterte KI-Integrationen

Azure Databricks beschleunigt sein Innovationstempo mit neuen Funktionen in den Bereichen Softwareverteilung, Daten-Governance und generative KI. Zu den wichtigsten Neuerungen gehören die native Ausführung von Drittanbieter-Anwendungen aus dem Databricks Marketplace, automatisiertes Privilege-Scoping für API-Zugriffe und die Integration von KI-Funktionen in bestehende Produktivitäts-Tools. Diese Erweiterungen zielen darauf ab, Entwicklungszyklen zu verkürzen und gleichzeitig die Einhaltung strenger Sicherheitsstandards zu gewährleisten.

Was ist neu?

• Marktplatz-Anwendungen: Nutzer können nun geschlossene Drittanbieter-Anwendungen direkt in ihrer eigenen, durch Unity Catalog geschützten Umgebung installieren und ausführen, wobei der Code des Anbieters geschützt bleibt.
• Automatisches Token-Scoping (Auto-Scoping): Für persönliche Zugriffstoken (PATs) wird das Prinzip der geringsten Berechtigungen automatisch angewendet, indem Berechtigungen basierend auf den historisch genutzten API-Endpunkten eingeschränkt werden.
• Erweiterte Genie- und Copilot-Anbindung: Über einen verwalteten MCP-Server lässt sich Databricks Genie nativ mit Microsoft Copilot Cowork verbinden, sodass Business-Nutzer Datenabfragen in natürlicher Sprache stellen können, ohne ihre Arbeitsumgebung zu verlassen.
• Temporäre Tabellen: Databricks SQL und Runtime (ab Version 18.1) unterstützen jetzt temporäre Tabellen, die sitzungsbasiert Daten speichern und ideal für explorative Analysen sind, ohne den permanenten Katalog zu belasten.

Warum es den Artikel ergänzt

Diese Neuerungen vertiefen das im Artikel behandelte Thema der modernen Lakehouse-Architektur, indem sie zeigen, wie Datenplattformen von reinen Datenlagern zu umfassenden Anwendungs- und KI-Plattformen heranwachsen, bei denen offene Governance und Benutzerfreundlichkeit im Vordergrund stehen.

---

🔄 Update — 16. Juni 2026: Integration von Replit und Microsoft Fabric sowie neue Entwickler- und Governance-Tools

Azure Databricks und Microsoft haben neue Integrationen und Tools vorgestellt, um die Entwicklung von Datenanwendungen und KI-Workloads zu beschleunigen. Dazu gehört eine direkte Verbindung zwischen Replit und Microsoft Fabric sowie Updates für Entwickler-Tools wie Databricks Asset Bundles (DABs) und MLflow. Diese Neuerungen vereinfachen sowohl die Erstellung von KI-Dashboards als auch das CI/CD-Management im Lakehouse.

Was ist neu?

• Replit & Microsoft Fabric Integration: Entwickler können AI-gestützte Daten-Apps in Replit entwickeln und direkt in Microsoft Fabric Tenants ausführen. Durch Vorlagen und den Replit Agent lassen sich Dashboards über Power BI-Semantikmodelle unter Einhaltung von Entra ID- und Purview-Governance erstellen.
• Erweiterte Entwickler-Tools und MLflow: Die allgemeine Verfügbarkeit neuer Funktionen in Databricks Asset Bundles (DABs) optimiert das automatisierte Deployment von Lakehouse-Ressourcen. Gleichzeitig ermöglicht das erweiterte MLflow-Tracking eine nahtlose Überwachung und Validierung von KI-nativen Workloads.

Warum es den Artikel ergänzt

Diese Ergänzungen verringern die Komplexität bei der Erstellung von Datenanwendungen weiter, indem sie Entwickler direkt mit verwalteten Unternehmensdatenquellen verbinden und CI/CD-Workflows im Azure-Databricks-Ökosystem optimieren.

---

🔄 Update — 15. Juni 2026: Ankündigungen von der FabCon 2026 und Standard-Tier-Abkündigung

Azure Databricks hat wichtige Neuerungen von der FabCon 2026 vorgestellt, darunter die allgemeine Verfügbarkeit (GA) von Lakebase, Lakeflow und den Genie GenAI-Funktionen. Zudem leitet die Plattform die offizielle Abkündigung des Standard-Tiers ein, um sich künftig vollständig auf Premium- und Enterprise-Funktionen zu fokussieren. Diese Änderungen markieren einen bedeutenden Schritt in der Weiterentwicklung und strategischen Ausrichtung des Dienstes.

Was ist neu?

• Lakebase GA & Lakeflow: Lakebase und Lakeflow sind nun allgemein verfügbar (GA) und bieten integrierte, serverlose Daten-Ingestion und optimierte Verarbeitungs-Pipelines.
• Genie GenAI-Integration: Die Übersetzung von natürlicher Sprache in SQL via Genie ist nun nativ integriert und ermöglicht es auch nicht-technischen Anwendern, Lakehouse-Daten direkt abzufragen.
• Standard-Tier-Abkündigung: Der Standard-Tarif von Azure Databricks wird eingestellt, was die Migration bestehender Instanzen auf die Premium- oder Enterprise-Stufe erforderlich macht.

Warum es den Artikel ergänzt

Dieses Update erweitert die Data-Engineering-Neuerungen vom Juni 2026 um den wichtigen strategischen Kontext, dass Einstiegs-Tiers abgekündigt werden und hochentwickelte serverlose Pipelines sowie KI-gestützte Datenanalysen in den produktiven Standard übergehen.

---

Azure Databricks Data Engineering: Fünf große Updates

Zusammenfassung

Azure Databricks hat eine Reihe wichtiger Updates für seine Data-Engineering-Plattform vorgestellt, die Dateneingang (Ingestion), Data Governance, Abfrageoptimierung, Hochverfügbarkeit und KI-Integration betreffen. Zu den wichtigsten Ankündigungen gehören ein neuer Lakeflow Connect SharePoint-Connector, verbesserter externer Zugriff auf Delta- und Iceberg-Tabellen über Unity Catalog, die Unterstützung von nicht erzwungenen (informationellen) UNIQUE-Constraints zur Performanceoptimierung in Databricks SQL, eine integrierte verwaltete Disaster-Recovery-Funktion für die automatische Workspace-Replikation sowie die Bereitstellung von Genie Spaces über eine neue Genie Spaces API. Diese Features zielen darauf ab, den Entwicklungs- und Betriebsaufwand für moderne Lakehouse-Architekturen drastisch zu verringern und die Integration in externe Systeme zu erleichtern.

Was ist passiert?

In den letzten Tagen wurden offizielle Dokumentationen und Blogposts von Microsoft und Databricks veröffentlicht, die eine breite Palette neuer Features in Azure Databricks einführen:

1. Lakeflow Connect SharePoint-Connector: Ermöglicht die direkte Ingestion von strukturierten, semistrukturierten und unstrukturierten Dateien (z. B. Excel, CSV, Dokumente) aus SharePoint-Verzeichnissen direkt in Delta-Tabellen, gesteuert über Unity Catalog und Serverless-Infrastruktur.
2. Externer Delta- und Iceberg-Zugriff via Unity Catalog: Unity Catalog fungiert nun als offenes Apache Iceberg REST-Verzeichnis. Externe Engines (z. B. Snowflake, Trino, Apache Spark) können über standardisierte REST-APIs geschützt auf Delta- und Iceberg-Tabellen zugreifen, unterstützt durch UniForm.
3. Informationelle UNIQUE-Constraints: Databricks SQL erlaubt nun die Definition von UNIQUE- und PRIMARY KEY-Constraints. Diese werden zwar nicht aktiv erzwungen (Integrität muss im ETL-Prozess gelöst werden), helfen dem Photon-Query-Optimizer jedoch durch die RELY-Klausel, Abfragen intelligenter umzuschreiben und somit die Performance drastisch zu steigern.
4. Managed Disaster Recovery (DR): Ein neuer verwalteter Dienst repliziert automatisch Metadaten und Daten des Unity Catalogs sowie Workspace-Objekte (wie Notebooks, Jobs und SQL-Warehouses) in eine Sekundärregion, um bei Ausfällen innerhalb weniger Minuten ein Failover zu ermöglichen. Ein stabiler Verbindungs-URL (Stable URL) sorgt für unterbrechungsfreie Client-Verbindungen.
5. Genie Spaces API: Databricks Genie, das Business-Usern die Abfrage von Daten in natürlicher Sprache ermöglicht, wird jetzt über eine spezielle API (Genie Spaces API) programmatisch zugänglich gemacht, um Konversations-Schnittstellen direkt in eigene Applikationen einzubinden.

Warum es wichtig ist

Für Data Engineers und Cloud-Architekten beseitigen diese Updates erhebliche manuelle Integrationshürden. Der SharePoint-Connector eliminiert komplexe Middleware-Pipelines (z. B. über Logic Apps oder Power Automate), was die Einbindung von Excel-Planungsdaten und Dokumenten für RAG-Systeme enorm vereinfacht. Die REST-Schnittstellen für Iceberg und Delta etablieren Unity Catalog als echtes, plattformübergreifendes Governance-Zentrum. Durch die Einführung informationeller Constraints können bestehende Abfragen auf Photon-Compute ohne Codeänderung beschleunigt werden. Managed DR schließlich verringert die Notwendigkeit von fehleranfälligen DIY-Replikationsskripten auf Terraform- oder Delta-Clone-Basis auf ein Minimum, was die Betriebssicherheit von Enterprise-Plattformen maßgeblich erhöht.

Beweise

• Lakeflow Connect SharePoint-Connector: Offizielle Ankündigung und Referenzdokumentation zur Konfiguration von sharepoint_options.
• Offener Katalog-Zugriff: Veröffentlichung des Iceberg REST Catalog APIs in Unity Catalog für nahtlose Trino-/Snowflake-Abfragen.
• Constraints in Databricks SQL: Release-Notes zu Databricks Runtime 18.2+ und DDL-Erweiterungen für informationelle UNIQUE- und PRIMARY KEY-Constraints.
• Managed DR Feature-Gate: Dokumentation des Managed DR Features mit Workspace-Asset-ID-Erhaltung und Stable URLs.
• Genie Spaces API: API-Spezifikationen für das Starten und Verfolgen von Konversationen über /api/2.0/genie/spaces.

Analyse

Die Updates verdeutlichen zwei strategische Prioritäten von Databricks: Offenheit und Betriebsreife auf Enterprise-Niveau.

Mit dem Iceberg REST API und UniForm öffnet sich die Plattform gegenüber dem Konkurrenz-Ökosystem und festigt den Unity Catalog als Industriestandard. Die Einführung nicht erzwungener UNIQUE-Constraints zeigt, wie Databricks Metadaten nutzt, um die hardwarebeschleunigte Photon-Engine weiter zu optimieren. Das Konzept, Integritätserzwingung weiterhin der Pipeline (z. B. durch MERGE oder Delta Live Tables Expectations) zu überlassen, aber die Metadaten für Join-Eliminierungen zu nutzen, ist ein kluger Kompromiss zwischen Schreibperformance und Leseoptimierung.

Das neue Managed Disaster Recovery markiert das Ende komplexer, selbstgebauter Multi-Region-Synchronisierungen. Durch die automatische Replikation von Workspace-Assets und das Beibehalten von IDs wird die Ausfallsicherheit für Großkunden drastisch vereinfacht.

Praktische Erkenntnisse

• Für Ingestion-Pipelines: Ersetzen Sie selbstgebaute SharePoint-Ingestion-Skripte durch den neuen managed Lakeflow-Connector, um Serverless-Skalierung und automatische Governance zu nutzen.
• Für Performance-Optimierung: Definieren Sie UNIQUE- und PRIMARY KEY-Constraints mit der Klausel RELY auf Tabellen, bei denen die Eindeutigkeit anderweitig (z. B. durch ETL-Deduplizierung) garantiert ist, um die Photon-Optimierung zu aktivieren.
• Für Cross-Region-Resilience: Beantragen Sie über Ihr Azure Databricks Account-Team den Zugriff auf Managed Disaster Recovery, um DR-Szenarien ohne manuelle Skripte zu automatisieren.
• Für Applikationsentwickler: Nutzen Sie die Genie Spaces API, um strukturierte Daten-Abfragemöglichkeiten direkt über Chatbots oder Agenten-Frameworks für Fachbereiche bereitzustellen.

Offene Fragen

• Globale Verfügbarkeit: In welchen Azure-Regionen ist Managed Disaster Recovery zuerst verfügbar und wie hoch sind die zusätzlichen Kosten für die automatische Asset-Replikation?
• Deduplizierungs-Aufwand: Da UNIQUE-Constraints nicht erzwungen werden, bleibt die Verantwortung für Datenintegrität bei den Data Engineers. Führt dies zu Missverständnissen bei Teams, die traditionelle RDBMS-Modelle gewohnt sind?

Quellen

1. Lakeflow Connect SharePoint Connector
2. External Data Access via Unity Catalog
3. Unique Constraints in Databricks SQL
4. Managed Disaster Recovery in Azure Databricks
5. Genie Spaces API Reference
6. FabCon 2026: Lakebase, Lakeflow und Genie
7. Abkündigung des Standard-Tiers in Azure Databricks
8. Azure Databricks Tutorial
9. Microsoft Fabric Integration
10. Azure Databricks Update Video
11. Azure Databricks Release Notes (Juni 2026)
12. Nextlytics Blog: Databricks Governance mit Terraform und DABs
13. Azure Databricks Genie One Dokumentation
14. Temporäre Tabellen in Databricks SQL
15. Reddit Diskussion: Azure Databricks Zertifizierung