Big Data Analytics mit Microsoft Azure Synapse Analytics

Mit Azure Synapse Analytics Daten analysieren

In Azure Synapse Analytics ist Azure Data Factory integriert. Hier ist das ETL-Tool Mapping Data Flows verfügbar. Generell können damit Daten, ähnlich wie die Integration Services in Microsoft SQL Server, angebunden und analysiert werden. SQL ist als Abfragesprache vorgesehen.

Azure Synapse Analytics lässt sich über das Azure-Portal konfigurieren. Dort erstellt man nach der Anmeldung mit einem Azure-Konto einen neuen Synapse-Arbeitsbereich. Wer Azure und Azure Synapse Analytics zuvor testen möchte, kann die Dienste kostenlos ausprobieren.

Beim Erstellen des Arbeitsbereiches lässt sich unter anderem Azure Data Lake Storage anbinden. Als Region für das Speichern der Daten kann Deutschland ausgewählt werden. Das spielt für den Datenschutz eine wichtige Rolle. Die Einrichtung des Arbeitsbereiches findet über einen Assistenten statt.

Sobald die Ressource bereitgestellt ist, kann in den Synapse-Arbeitsbereich gewechselt werden. Der wichtigste Bereich in Azure Synapse Analytics ist Synapse Studio. Dieses steht über das Dashboard des Arbeitsbereiches zur Verfügung. Mit dem Synapse Studio erhalten Anwender zentralen Zugriff auf Datenquellen, Pipelines, Analysen und andere Objekte. Die Anbindung an SQL ist genauso möglich wie an Apache Spark.

In Azure Synapse Analytics erfolgt die Abrechnung nach Verbrauch der Rechenkapazitäten. Die Rechendienste müssen nur dann bezahlt werden, wenn diese explizit laufen. Sind die Dienste nicht gestartet, weil sie aktuell nicht benötigt werden, erfolgt keine Abrechnung.

Um auf externe Tabellen zuzugreifen, kommt im Cloud-Dienst häufig PolyBase zum Einsatz. Die komplette Infrastruktur wurde so abgestimmt, dass Analysen so kostengünstig wie möglich sind. Die Abrechnung erfolgt dynamisch, zum Beispiel durch das zeitweise Hinzuschalten oder Deaktivieren nicht benötigter Ressourcen.

Zusätzlich besteht die Möglichkeit, einen Kopierauftrag von Connectoren innerhalb des Arbeitsbereichs zu erstellen. Hier sind die gleichen Connectoren zu finden, die aus Azure Data Factory bekannt sind.

Analyse-Pools erstellen

Über die Menüpunkte SQL-Pools und Apache Spark-Pools lassen sich Pools aus Daten innerhalb von Azure Synapse Analytics erstellen. Hier kann man Spark in die Umgebung integrieren.

Neben dem dedizierten SQL-Pool können weitere Pools hinzugefügt werden. Damit lassen sich Data Warehouses und deren Funktionen mit Azure Synapse Studio abbilden sowie mehrere Warehouses anbinden. Mit SQL-Pools können Dimensionstabellen eingebunden werden. Hier besteht die Möglichkeit, die Rechenleistung für eine bessere Performance anzupassen oder den SQL-Pool zu pausieren, um Kosten zu sparen.

Mit Data Flow lassen sich Daten bereinigen. Damit sind zum Beispiel häufige Aufgabe wie Joins, Unions, Lookups, Select, Filter, Sort, Alter und weitere Aktionen möglich, ohne dass Code extra geschrieben werden muss.

SQL Script erlaubt es Anwendern, SQL-Anweisungen im Synapse Studio zu erstellen. Hier besteht die Möglichkeit, externe Datenquellen außerhalb des Synapse-Arbeitsbereichs zu verbinden. Dazu gehören zum Beispiel Hadoop, Azure Data Lake oder Azure Blob Storage.

Im Ergebnisfenster der SQL-Abfrage lassen sich schließlich die Ergebnisse visualisieren sowie die Ergebnisse und Diagramme anpassen.