Apache Falcon

Systemadministratoren können mit Apache Falcon operative Policies und Data-Governance-Richtlinien für Hadoop Workflows definieren, indem sie XML verwenden. Falcon lässt sich etwa konfigurieren, um Abhängigkeiten zwischen Systeminfrastruktur, Daten und Verarbeitungslogik zu verwalten. Das ist vor allem im Hinblick auf hochskalierte Hadoop-Anwendungen mit hunderten oder tausenden Rechnerknoten nützlich, auf denen eine große Zahl von Aufgaben verarbeitet werden, die schwer zu managen sind.

Bei der Arbeit ist Apache Falcon auf das Workflow Tool Oozie angewiesen, um Verarbeitungsabläufe zu generieren. Falcon ist für eine deklarative Programmierung über einfache APIs verfügbar.

Die Software ist dafür geschaffen, dass Administratoren Prozeduren für Replikation, Aufbewahrung und Archivierung eingehender Daten festlegen können. Zum Beispiel bietet Falcon Funktionen für das Markieren von Daten, um Aufbewahrungs- und Auffindungsanforderungen abzudecken. Darüber hinaus bietet es einen erweiterten Support für Data Governance, indem Falcon die Überwachung und Rückverfolgung von gescheiterten Aufgaben oder Verarbeitungsereignissen ermöglicht.

Apache Falcon wurde ursprünglich von Entwicklern des Online-Anzeigen-Brokers InMobi kreiert. InMobi initiierte zusammen mit Entwicklern des Hadoop-Providers Hortonworks Falcon im April 2013 als Projekt der Apache Software Foundation.

Aktuell ist das Tool in Version 0.7 erhältlich. Das Release beinhaltet zum Beispiel eine verbesserte Benutzeroberfläche, zusätzliche REST APIs, eine aktualisierte Dokumentation und Fehlerbehebungen. Seit Release 0.6 gehört Falcon zu den Top-Level-Projekten der Apache Software Foundation. Hortonworks war der erste Anbieter, der Falcon in sein kommerzielles Hadoop-Angebot integrierte.