FabCon Europe 2024 – Ein Blick in die Zukunft von Microsoft Fabric

Fast ein Jahr nachdem Microsoft die allgemeine Verfügbarkeit seiner neuesten Datenplattform, Microsoft Fabric, angekündigt hat, fand vom 24. bis 27. September 2024 die erste Microsoft Fabric-Konferenz auf europäischem Boden statt. Die European Microsoft Community Conference, kurz FabCon, zog Branchenexperten, Entwicklerinnen und Entwickler und IT-Profis aus Europa und der ganzen Welt nach Stockholm. Als Teil des adesso-Teams war auch ich vor Ort und mittendrin im Geschehen.

Bei so vielen spannenden Vorträgen, Keynotes und Workshops - über 130 an der Zahl - war es gar nicht so einfach, sich zu entscheiden, welche man besuchen sollte. Ich habe mir gezielt meine persönlichen Rosinen aus dem Kuchen gepickt - Sessions, die mir besonders spannend und relevant für meine Arbeit als Cloud und Data Architect erschienen. Von tiefen Einblicken in realisierte Use Cases bis hin zu den neuesten Entwicklungen in der Feature Roadmap habe ich viele spannende Informationen mitgenommen. In diesem Blog-Beitrag möchte ich einen Einblick in die interessantesten Momente und wichtigsten Erkenntnisse geben, die ich von der FabCon mitgenommen habe.

Developer Workflows und CI/CD

Microsoft Fabric bietet dafür verschiedene Ansätze, je nach Bedarf und Präferenz. Einerseits gibt es die Möglichkeit, eine flexible, codeintensive Erfahrung mit Tools wie Git, Azure DevOps und der Fabric API zu schaffen. Auf der anderen Seite ermöglichen Fabric Deployment Pipelines einen einfacheren, codefreien Ansatz. Derzeit gibt es noch einige Hürden bei der Nutzung der Fabric API, insbesondere aufgrund der nicht durchgängig implementierten Service Principal Authentifizierung. Microsoft hat jedoch versprochen, dieses Problem bis Ende des Jahres zu lösen. Details zu den API-Endpunkten, die derzeit Service Principals unterstützen, finden Sie unter dem beigefügten Link. Darüber hinaus wird in Kürze die Fabric Connections API verfügbar sein, die die programmatische Manipulation von Datenverbindungen ermöglicht.

Configuration as Code

Für Terraform-Fans gibt es gute Neuigkeiten: Seit Ende September ist ein offizieller Terraform Provider für Microsoft Fabric in der Public Preview verfügbar, der eine wichtige Ergänzung für diejenigen darstellt, die im Bereich Fabric DevOps mit Terraform arbeiten. Trotz des deutlich spürbaren Interesses aus der Community sind Deployments mit ARM/Bicep derzeit noch nicht auf der Roadmap.

Python in Fabric

Eine interessante Neuerung in Microsoft Fabric ist die Möglichkeit, reine Python Notebooks zu verwenden, ohne dass eine Spark Session im Hintergrund laufen muss. Dieses Feature ist besonders willkommen, da es die Durchführung von Housekeeping-Aufgaben und die Abarbeitung von häufigen, datenarmen Jobs - zum Beispiel bei regelmäßigen externen API-Aufrufen - erheblich vereinfacht. Es wird interessant sein zu sehen, wie Entwickler in Zukunft ihre Workloads zwischen User Data Functions (Link) und Python Notebooks aufteilen werden, um die Effizienz zu maximieren.

High-Concurrency Spark Sessions in Pipelines

Ein weiteres wichtiges Update von Microsoft Fabric, das seit Ende September verfügbar ist, betrifft die Nutzung von High-Concurrency Spark Sessions innerhalb der Fabric Pipelines (Link). Dieses Feature ermöglicht es, Spark Sessions zwischen mehreren Notebooks zu teilen. Ohne diese Funktionalität ist die Anzahl der Notebooks, die gleichzeitig in einer Fabric Pipeline gestartet werden können, stark eingeschränkt, da für jedes Notebook eine neue Session gestartet werden muss. Dieses Update eröffnet somit neue Möglichkeiten für ein effizienteres Ressourcenmanagement.

Experience-unabhängiger Workspace Copilot

Neben den bereits bekannten Copilots, die auf spezifische Experimente zugeschnitten sind, führt Microsoft Fabric nun einen Workspace Copilot ein. Dieses Tool soll Anwenderinnen und Anwendern helfen, schnell und effizient die für ihre spezifischen Fragestellungen relevanten Elemente zu finden. Der Copilot nutzt die Power-BI-Suche und wurde speziell entwickelt, um Fachanwender bei der Identifizierung der für ihre Fragestellung relevanten Datensätze zu unterstützen.

Power BI Desktop Dark Mode

Kleinigkeit oder Lebenswichtig – in jedem Fall ein von vielen lang ersehntes Feature.

SQL Server / Dedicated SQL Pool Migrations Tool

Es gibt gute Nachrichten für alle, die an einem Migrationsprojekt zu einem Fabric Warehouse beteiligt sind: Microsoft entwickelt derzeit ein spezielles Migrationstool, das die Migration von Workloads aus SQL Server oder Synapse Dedicated SQL Pool in ein Fabric Warehouse erleichtern soll. Das Tool wird in der Lage sein, die folgenden Elemente zu migrieren:

• Schemas (einschließlich Tabellen, Views, Stored Procedures und so weiter)
• Daten
• Datenverbindungen

Für diejenigen, die mehr über die Besonderheiten von Fabric T-SQL erfahren möchten, ist der folgende Link zur „Fabric T-SQL surface area“ sehr hilfreich. Dort finden Sie eine Übersicht über die Features, die derzeit noch nicht von Fabric T-SQL unterstützt werden.

Security und Berechtigungen

In mehreren Sessions gab Microsoft Einblicke in das zukünftige Berechtigungssystem von Fabric. Die wichtigsten Erkenntnisse sind

• Die primäre Sicherheitsgruppe für Berechtigungen auf Fabric Items wird der Workspace sein.
• Datenberechtigungen werden primär auf der Lake-Ebene vergeben und von dort aus weiter verteilt (Downstream).

Es wird erwartet, dass sich das Berechtigungskonzept anfangs noch im Fluss befindet und zumindest übergangsweise eine gewisse Komplexität aufweisen wird. Dies liegt unter anderem daran, dass Fabric die Berechtigungssysteme mehrerer separat entwickelter Engines wie der Spark-, SQL-, KQL-Engine und des Semantic Models homogenisieren muss.

Das langfristige Ziel ist jedoch klar: Berechtigungen in Fabric (einschließlich OneLake) sollen mindestens so detailliert und granular einstellbar sein wie in jedem anderen PaaS-basierten Lake.

Fabric, Netzwerke und User

In einer der Security-Sessions wurde ein wichtiger Aspekt der Sicherheitsphilosophie von Fabric hervorgehoben, der allerdings nicht auf Fabric beschränkt ist: Die Absicherung von Fabric als SaaS-Produkt erfolgt primär über die Absicherung der Entra-Identitäten und nicht primär über Netzwerksicherheitsmaßnahmen.

Die traditionelle Netzwerksicherheit durch VNETs sollte kritisch überdacht werden, wenn es um die Integration in Fabric geht. Stattdessen könnte es sinnvoller sein, sich auf eine stärkere Sicherung der Benutzeridentitäten zu konzentrieren. Dazu gehören Maßnahmen wie Conditional Access Policies und User and Entity Behavior Analytics (UEBA), die eine zielgerichtete und adaptive Sicherheitsstrategie ermöglichen. Diese Ansätze bieten im Kontext moderner Cloud-Plattformen und SaaS-Lösungen oft eine effektivere Absicherung.

Spark Native Execution Engine

Die Verarbeitung von Spark Workloads in der Fabric hat eine wichtige Entwicklung erfahren. Diese Workloads können nun in der Public Preview auf der Microsoft Spark Implementation, der sogenannten Native Execution Engine (Link), ausgeführt werden. Diese neue Implementierung verspricht signifikante Performance-Verbesserungen. Bis zu vierfache Performance-Steigerungen sind möglich. Ein wesentlicher Vorteil dieser Engine ist ihre Flexibilität: Sie kann auf Itemebene aktiviert oder deaktiviert werden, so dass die Nutzerinnen und Nutzer je nach Bedarf zwischen Performance und anderen Faktoren wählen können.

Fazit

Die jüngsten Entwicklungen und Updates rund um Microsoft Fabric zeigen deutlich, wie sich die Plattform weiterhin dynamisch an die Bedürfnisse moderner IT- und Sicherheitsanforderungen anpasst. Von der Integration von Python in Fabric Notebooks über die Einführung von High-Concurrency Spark Sessions bis hin zur neuen Spark Native Execution Engine verspricht jede Neuerung mehr Effizienz und Benutzerfreundlichkeit für Entwickler und Unternehmen.

Die Einführung des Workspace Copilots und die Weiterentwicklung der Sicherheitsrichtlinien sind weitere Beispiele dafür, wie Fabric eine sichere und effektive Arbeitsumgebung schaffen will. Ich bin jedenfalls gespannt auf die Neuerungen der nächsten Monate und freue mich schon jetzt auf die nächste FabCon 2025 in Wien.