Compliance-Vorgaben beim Big Data Testing einhalten

Big Data wird für Firmen immer wichtiger. Dabei müssen die Business-Intelligence-Reports feste Compliance-Vorgaben erfüllen. Erfahren Sie, wie das geht.

Das Thema Big Data wird für Unternehmen immer wichtiger, da diese durch Ablieferung von umfassenden Business Intelligence (BI) -Reports die Compliance-Vorgaben erfüllen müssen. Diese Reports umfassen riesige Datenmengen. Mit SOX, EuroSOX, Basel II und Solvency II Vorgaben sowie Markt- und Wirtschaftsschwankungen ist es nicht verwunderlich, dass IT-Führungskräfte und Vorstände über die Qualität, die Exaktheit und das Ausmaß der gelieferten Informationen an die Regierung besorgt sind.

Zu Beginn des Prozesses, wenn in den einzelnen ETL-Stufen die Daten extrahiert, umgewandelt und geladen werden müssen, um sie schließlich in die Reports einbauen zu können, kann es bereits zu einem Qualitätsverlust beziehungsweise fehlenden Datensätzen kommen. Die Daten kommen aus vielen verschiedenen Quellen und Systemen, in verschiedenen Formaten, Größen, Formen oder sie sind im schlimmsten Fall gar nicht erst vorhanden.

  • Test-Hürde A: Die erste große Hürde im Big-Data-Test ist die unzureichende Qualität der gelieferten Daten.
  • Test-Hürde B: Die zweite große Test-Hürde ist der fehlende Regressionstest über den gesamten Prozess, der alle Änderungen, von der Extraktion im ETL-Prozess bis hin zu den Business-Intelligence (BI) -Reports, umfasst.

An jedem Punkt der Reporting-Kette können und werden Fehler auftreten. Aber nicht jeder Fehler ist gleichwertig zu behandeln: Wird ein Fehler sehr früh im Prozess gefunden, so ist dessen Behebung weniger kostspielig als ein Fehler im Reporting, fast am Ende des Prozesses. Oder anders ausgedrückt, gute Fehler im Big-Data/BI-Test sind diejenigen, die in einem frühen “Stadium des BI Reporting Prozesses“ auftreten – und zwar im ETL-Prozess. Erfahrene QS-Experten sagen, dass schwere Fehler gut sind, wenn sie früh entdeckt werden und dass schwere Fehler, die spät entdeckt werden und extrem teuer sind.

BI-Testablauf verschieben

Bei ernsthaften Abweichungen, die spät (= im Reporting) entdeckt werden, werden alle Beteiligten nervös, da die Reports schon lieferbereit sind. Ein möglicher Ansatz zur Verbesserung der Testqualität ist die Verschiebung der Testautomatisierung im traditionellen BI-Testablauf nach links. Dies hilft auch straffe Termine einzuhalten, da zuverlässige und erfolgreiche Testergebnisse vorliegen.

Der aktuelle Ansatz im Data-Warehouse/BI-Test erfordert, dass eine Handvoll Experten komplexe SQL-Abfragen schreiben muss. Diese komplexen und aggregierten SQL-Skripte verursachen lange Wartezeiten im Testablauf. Eines der größten Probleme ist die übermäßig lange Ausführungszeit solcher SQL-Skripte, wodurch auch die Anzahl der Skripte, die durchgeführt werden können, eingeschränkt wird. 

Problematisch ist außerdem, dass viel Zeit erforderlich ist um die genaue Ursache der Probleme herauszufinden nachdem das Data-Profiling Testskript einen Fehler aufzeigt. Dadurch sind viel zu wenige Testdurchläufe möglich und die Testabdeckung ist eingeschränkt. Letzten Endes führt dies dazu, dass Business-Experten bei den Abschlussberichten vor einem massiven manuellen Prüfungsaufwand stehen und zugleich ein unnötig hohes Risiko in Bezug auf die Qualität der Reports eingehen.

Was ist TOSCA@BigData?

TOSCA@BigData ist ein Bestandteil der TOSCA Testsuite. TOSCA@BigData legt den Fokus auf die Testlücke und führt den Test bei erhöhter Automatisierung und Abdeckung im gesamten Data Warehouse bis zu den Business Intelligence Reports leistungsfähig durch. Ihr Unternehmen hat dadurch die Möglichkeit die Testautomatisierung besser, schneller und äußerst präzise anzugehen - nämlich bei der Lokalisierung von Fehlern, die außerhalb des üblichen Testbereichs liegen. 

Mit TOSCA können Sie Ihre Teradata Data Warehouse Lösung testen, die mit SAP, HP ALM 11, Polarion ALM u.ä. betrieben wird, und die Testfälle aus einer fachlichen Perspektive entwerfen. Mit TOSCA erhöhen Sie die Testabdeckung im gesamten Data Warehouse/BI Prozess.

Über den Autor:

Wolfgang Platz ist Gründer und Geschäftsführer von TRICENTIS Technology & Consulting und seit mehr als zehn Jahren im Bereich Software Testing tätig. Sein Hauptziel sind dabei innovative Entwicklungen, die das Testen von Software vereinfachen und optimieren.

Folgen Sie SearchEnterpriseSoftware.de auch auf Twitter, Google+ und Facebook!

Artikel wurde zuletzt im September 2012 aktualisiert

Erfahren Sie mehr über Big Data

- GOOGLE-ANZEIGEN

ComputerWeekly.de

Close