Essential Guide
Big Data: Anwendung, Datenschutz und Technologie
Big Data ist zum Synonym für wachsende Datenmengen geworden. Gleichzeitig beschreibt Big Data aber auch Datenanalyse-Technologien wie Hadoop, NoSQL und Spark.
Einführung
Big Data ist zum Synonym für die enorme Datenflut geworden, die im öffentlichen und privaten Leben anfällt. Allerdings spiegelt der Begriff nicht nur eine komplexe, teilweise nicht-greifbare Datenmenge wider, sondern beschreibt auch Technologien, die zum Sammeln, Verwalten und Analysieren der Daten eingesetzt werden - darunter Apache Hadoop, Spark und NoSQL-Datenbanken. Die unter dem Begriff Big Data zusammengefassten Daten stammen aus nahezu allen denkbaren Quelle: Überwachungssystemen, elektronischen Kommunikationsmitteln, sozialen Netzwerken, öffentlichen Einrichtungen oder Unternehmensystemen.
Auf Anwenderseite ist die Hoffnung in Big Data groß. Forschungseinrichtungen möchten durch die Kombination von Daten und statistischen Methoden neue wissenschaftliche Erkenntnisse gewinnen. Unternehmen möchten mit Big-Data-Analytics Wettbewerbsvorteile erreichen, neue Geschäftsfelder entdecken und Einsparungen erzielen. Staatliche Organisation erhoffen sich wiederum durch die massenhafte Auswertung von Daten bessere Ergebnisse in der Kriminalistik und Terrorismusbekämpfung.
Dieser Essential Guide fasst Anwendungsfelder, verwendete Technologien sowie Analysemethoden zusammen. Dafür werden Fachbeiträge in den Kategorien Big-Data-Analytik, Big-Data-Management, NoSQL-Datenbanken, Apache Hadoop, Apache Spark, Hardware, Datenschutz und Security vorgestellt.
Für ein tieferes Verständnis stellen wir Methoden und Technologien vor, die für Analyse und Daten-Management eingesetzt werden. Dabei wird ein besondere Augenmerk auf Apache Hadoop, Spark und NoSQL-Datenbanken gelegt. Schließlich erläutern Datenschutz-Experten in verschiedenen Beiträgen die Grenzen von Big Data und Big-Data-Analytik. Ein Glossar bietet am Ende des Essential Guides Definitionen der wichtigsten Begriffe.
1Wie Big Data analysieren?-
Big-Data-Analytik
Big-Data-Analytik steht für die Untersuchung großer Datenmengen, um darin versteckte Muster, unbekannte Korrelationen und andere nützliche Informationen zu entdecken, die einen wirtschaftlichen Vorteil bringen.
Das ABC der Big-Data-Analyse für Unternehmen
Bei Big Data geht es darum, welche Daten erfasst und wie sie genutzt werden. Einen Kompass liefern die Konzepte zu Access, Benefits und Collaboration. Weiterlesen
Big Data Analytics: Diese Tools hat AWS im Marketplace
AWS bietet verschiende Analytics-Tools und listet zudem Drittanbieter-Apps im Marketplace. Ein Überblick über die wichtigsten Analytics-Anwendungen. Weiterlesen
Nicht alle Big-Data-Tools sind sinnvoll
Firmen müssen wissen, wie Big-Data-Tools zu ihren Geschäftszielen passen, bevor sie diese integrieren. Viele Tools bieten nur einen geringen Mehrwert. Weiterlesen
Big Data für Data Stewards nicht ohne Komplikationen
Mit der wachsenden Begeisterung für Big Data sehen Data Stewards ganz neuen Herausforderungen entgegen – und diese werden nicht einfach zu lösen sein. Weiterlesen
Mit Big Data in die Zukunft schauen
Big Data umfasst nicht nur das Managen der Daten, sondern auch die Analyse der Datenquellen. Auf diese Weise lassen sich vorrausschauende Entscheidungen treffen. Weiterlesen
In fünf Schritten zur effektiven Big-Data-Analytik
Unternehmen müssen für erfolgreiche Big-Data-Analytik neben technischen Aspekten Business-Faktoren berücksichtigen, um einen Mehrwert zu erreichen. Weiterlesen
Big-Data-Analytics für die (IT-) Security einsetzen
Firmen können mit Big-Data-Analysen aus einer Unmenge von Daten wertvolle Erkenntnisse über ihre Risiken herausfiltern. Einige Einsatzszenarien. Weiterlesen
Ein höheres ROI mit Big Data und Analytics erreichen
Unternehmen können einen konkreten Mehrwert generieren, wenn sie Projekte im Bereich Big Data und Analytics starten. Das zeigt eine IBM-Studie. Weiterlesen
Big Data: Alltag statt Hype
Neben Cloud Computing ist Big Data sicherlich das häufigste Buzzword der letzten Jahre. Viele Unternehmen haben dessen Wert mittlerweile erkannt. Weiterlesen
MapReduce, Hadoop und Hive für Big-Data-Analytik einsetzen
Mit Amazon Elastic MapReduce, Hadoop und Hive können Sie effizient Big Data analysieren. Wir erläutern Schritt für Schritt die Konfiguration. Weiterlesen
Was hat SAP für Big Data vorzuweisen?
SAP IQ eignet sich als spaltenorientiertes Datenbanksystem vor allem für Big-Data-Analytics. Dabei ist es günstiger als die In-Memory-Lösung SAP HANA. Weiterlesen
2Wie Big Data managen?-
Big-Data-Management
Big-Data-Management betrifft Organisation, Management und Governance von großen strukturierten und unstrukturierten Datenvolumen. Ziel ist es, einen hohen Grad an Datenqualität zu sichern.
Neue AWS Migrations-Tools für Big Data
Verschiedene AWS Migrations-Tools und Security-Maßnahmen stehen im Zentrum einer Reihe neuer AWS-Produkte, die auf Enterprise Workloads abzielen. Weiterlesen
Big Data: Apache Storm 1.0 veröffentlicht
Apache hat Version 1.0 des Big-Data-Projekts Storm präsentiert. Die neue Version soll einen großen Sprung bei Performance und Nutzbarkeit machen. Weiterlesen
Big-Data-Programme langfristig planen
Für viele Unternehmen ist Big Data Segen und Fluch zugleich. Sie ertrinken in Daten und möchten gleichzeitig wertvolle Erkenntnisse daraus gewinnen. Weiterlesen
Big-Data-Anwender müssen Geschäftsstrategie entwickeln
Der Experton Big Data Vendor Benchmark 2016 zeigt: der Markt bietet ausgereifte Lösungen, Anwender müssen aber geeignete Geschäftsmodelle entwickeln. Weiterlesen
Big Data: Auch Daten-Administratoren brauchen Anleitung
Um Probleme bei der Datenadministration zu ersparen, haben wir sieben Tipps erarbeitet, wie Data Stewards effektiv Daten managen und analysieren. Weiterlesen
Data-Governance-Prozess nimmt Big Data in Angriff
Data Governance kann dabei helfen, das Beste aus einer Big-Data-Umgebung zu holen. Es gibt hierfür allerdings keine einheitliche Erfolgformel. Weiterlesen
Big Data in der Cloud mit Akzeptanzproblemen
Big Data und Cloud Computing bieten zahlreiche Möglichkeiten. Allerdings nutzen viele Firmen Technologien im Cloud- und Big-Data-Umfeld noch zu wenig. Weiterlesen
Die zwei größten Fehler beim Big-Data-Management
Eines der Hauptprobleme bei Big Data ist, dass viele Firmen heute zwar große Datenmengen sammeln und verwalten – aber mit wenig bis keiner Planung. Weiterlesen
Checkliste: Big-Data-Projekte erfolgreich umsetzen
Ein Big-Data-Projekt bietet Chancen, aber auch Risiken. Wenn Projekt-Manager einige wichtige Punkte beachten, können sie Probleme vermeiden. Weiterlesen
Big Data erfordert Big-Data-Management
Immer mehr Anwender wollen in Echtzeit Daten aus einer großen Datenmenge und unterschiedlichen Quellen analysieren. Das erfordert Big-Data-Management. Weiterlesen
Experton: Neue Geschäftsmodelle mit Big Data entwickeln
Experton hat seinen jährlichen Vendor Benchmark zum Thema Big Data vorgestellt. Zum ersten Mal wurden dabei auch Security-Themen untersucht. Weiterlesen
In-Memory-Technologien im Vergleich
Ob Machine Learning, Robotic Automation oder Online-Transaktionen – in allen Fällen nehmen die Datenmengen und der damit verbundene Rechenbedarf für die Verarbeitung zu. Mehrere Anbieter sehen in In-Memory-Technologien die Lösung für das Dilemma. Doch wie ausgereift sind die Technologien? Und welche Anbieter gibt es? Das E-Handbook beantwortet diese Fragen.
3Wie funktioniert NoSQL?-
Daten-Management mit NoSQL
NoSQL ist ein Ansatz zum Daten-Management und Datenbank-Design, der sich vor allem für verteilte Datenbestände eignet und oft in Big-Data-Szenarien eingesetzt wird.
Azure-Preview-Services für Enterprise-Anwendungen
DocumentDB, Data Factory und Machine Learning: Viele Microsoft-Azure-Services sind als Preview verfügbar und geben Einblick in künftige Funktionen. Weiterlesen
Forrester: Anwender möchten eine Datenbank für alle Daten
Eine Forrester-Studie beschäftigt sich mit den Problemen von Datenbank-Spezialisten. Ein Großteil der Befragten wünscht sich eine Datenbank für alles. Weiterlesen
NoSQL-Datenbanken am Anwendungsfall ausrichten
Die Optionen für NoSQL ist kaum noch zu überblicken. Die Datenbanken eignen sich jeweils für bestimmte Einsätze, die man vorher analysieren muss. Weiterlesen
NoSQL-Datenbanken bieten einen Wettbewerbsvorteil
Die NoSQL-Datenbank ist für Firmen interessant, die große Datenmengen verarbeiten und analysieren müssen. Unsere Expertin erläutert Fallbeispiele. Weiterlesen
4Wie funktioniert Spark?-
Datenanalyse mit Apache Spark
Apache Spark kann aus einer Vielzahl von Datenquellen Daten verarbeiten. Dazu gehören zum Beispiel Hadoop Distributed File System (HDFS), NoSQL-Datenbanken und relationale Datenspeicher wie Apache Hive.
Apache Spark 2.0 verbessert die Big-Data-Integration
Apache Spark ist ein gern genutztes Tool zur Big-Data-Integration in Anwendungsarchitekturen. Apache Spark 2.0 bietet mehrere neue Funktionen hierfür. Weiterlesen
Apache Spark macht einiges besser als Hadoop
Apache Spark gewinnt zunehmend an Zustimmung. Wenn es irgendwo um Big Data, Cloud- oder Geschäftsdaten geht, ist Spark eine der ersten Optionen. Weiterlesen
Apache Spark erweitert die Möglichkeiten von Hadoop
Geschwindigkeit und Flexibilität machen Apache Spark zum idealen Tool für iterative Prozesse. Spark ergänzt damit die Batch Processing von Hadoop. Weiterlesen
Spark-Analytics-Anwendungen mit Bibliotheken erweitern
Apache Spark ist mehr als nur Datenverarbeitung. Die enthaltenen Softwarebibliotheken machen Spark für eine Vielzahl von Analyseanwendungen attraktiv. Weiterlesen
Apache Spark beschleunigt Big-Data-Analytics
Apache Spark bietet eine leistungsfähige Big-Data-Verarbeitung. Vor allem Anwender, die keine Big-Data-Experten sind, profitieren von Apache Spark. Weiterlesen
Was steckt hinter den Cloud-Versionen von Apache Spark?
Auf dem Spark Summit 2015 kündigten IBM und Databricks verschiedene Cloudversionen des Big-Data-Frameworks Apache Spark an. Was steckt dahinter? Weiterlesen
SAP und Databricks vereinen HANA und Apache Spark
SAP will enger mit Open-Source-Entwicklern zusammenarbeiten und plant daher auch die Integration von SAP HANA mit dem Apache-Stark-Framework. Weiterlesen
IBM, Intel und Co. loben Apache Spark 1.0
Die Apache Software Foundation hat Spark 1.0 im Mai 2014 präsentiert. Spark soll durch In-Memory-Verarbeitung höhere Leistungen für Big Data bieten. Weiterlesen
5Wie funktioniert Hadoop?-
Datenanalyse mit Apache Hadoop
Apache Hadoop ist für rechenintensive Prozesse mit großen Datenmengen konzipiert. Es basiert auf dem MapReduce-Algorithmus von Google und setzt sich aus Hadoop Common, Hadoop Distributed File System und YARN zusammen.
Big Data mit Hadoop und HDFS bewältigen
Das Hadoop Distributed File System wird immer mehr zum bevorzugten Tool, das Enterprise-Storage-Anwendern hilft, Big-Data-Probleme zu bewältigen. Weiterlesen
Big-Data-Management mit Amazon Elastic MapReduce (EMR)
Amazon Elastic MapReduce bietet ein Hadoop-Framework, das die Verarbeitung und Verteilung großer Datenmengen über Amazon EC2 Instances ermöglicht. Weiterlesen
Big-Data-Management mit der Hortonworks Data Platform
Die Hortonworks Data Platform (HDP) umfasst Anwendungen der Apache Software Foundation und bietet Funktionen für Datenerfassung und -analyse. Weiterlesen
Big-Data-Management mit MapR Hadoop
MapR Hadoop ersetzt HDFS durch das proprietäre Dateisystem MapR-FS, um so ein effektiveres Daten-Management und höhere Zuverlässigkeit zu erreichen. Weiterlesen
Big-Data-Management und Analytics mit IBM BigInsights
IBM BigInsights bietet mehrere Services, die sich zusammen mit dem Open-Source-Framework Apache Hadoop für Big-Data-Mangement einsetzen lassen. Weiterlesen
SAP HANA Vora: In-Memory-Verarbeitung mit Hadoop
SAP hat mit SAP HANA Vora eine neue In-Memory-Lösung für Hadoop vorgestellt. Daneben bietet SAP nun neue Funktionen für die HANA Cloud Platform. Weiterlesen
E-Handbook zu Hadoop 2: Funktionen und Einsatzszenarien
Hadoop 2 bietet mit YARN einige Verbesserungen im Vergleich zur ersten Version. Das kostenlose E-Handbook zu Hadoop 2 erläutert alle Neuerungen. Weiterlesen
Hadoop Erweiterung in SAP HANA Service Pack 10
Das Service Pack 10 für SAP HANA ist auf Big Data und Remote-Synchronisation über das ganze Unternehmen ausgerichtet. Einige Eckpunkte des Releases. Weiterlesen
Spreadmarts und Analytics in Hadoop vereint
Hadoop bietet die Option, das Gros der Spreadmarts in Firmen zu konsolidieren. Business-Anwender erlaubt es daneben Self-Service-Analytics. Weiterlesen
Big-Data-Analytics in Echtzeit mit Hadoop 2
MapReduce bremste in der Vergangenheit Hadoop aus. YARN und Hadoop 2 erlauben Echtzeitverarbeitung und Big-Data-Analytik deutlich besser. Weiterlesen
Neue Einsatzszenarien mit YARN und Hadoop 2
Der Ressourcen-Manager YARNbeendet die MapReduce-abhängige Verarbeitung in Hadoop 2. Das bietet neue Einsatzoptionen für Big-Data-Analytics. Weiterlesen
Entscheidende Kriterien für den Einsatz von Hadoop
Hadoop ist nicht immer die richtige Big-Data-Lösung. Firmen sollten ihre Daten-Management-Anforderungen genau prüfen, bevor sie Hadoop einsetzen. Weiterlesen
Die Mischung machts: Hadoop und Big-Data-Frameworks
Hadoop ist das Big-Data-Tool. Viele Anwender nutzen das Framework in Kombination mit anderen Technologien, um Big-Data-Anwendungen voranzubringen. Weiterlesen
Diese Möglichkeiten bietet SAP für die Hadoop-Integration
Viele Ankündigungen zu Hadoop haben dazu geführt, dass es zu Verwirrungen bei der Integration von SAP kommt. Die Integrationsoptionen in der Übersicht. Weiterlesen
Big-Data-Analytics mit Hadoop erhöht die Datenqualität
Weniger Kosten und Echtzeit-Verarbeitung sind zwei Vorteile von Hadoop. Die Kehrseite: Das Hadoop-Framework bietet keine durchgängige Datensicherheit. Weiterlesen
Nützliche Hadoop-Tools für Cloud-Administratoren
Hadoop ist eine gute Wahl für Big-Data-Analytics. Allerdings ist die Nutzung eine ständige Herausforderung. Nützliche Tools erleichtern die Arbeit. Weiterlesen
Tipps zur Auswahl einer SQL-on-Hadoop-Engine
Bei der Suche nach SQL-on-Hadoop-Engines gibt es mittlerweile eine enorme Auswahl. Funktionsumfang und Features variieren allerdings beträchtlich. Weiterlesen
Neue Funktionen von Hadoop 2: von YARN bis HDFS
Mit Version 2 wird Hadoop Enterprise-tauglich. Ein Funktionsüberblick zum neuen Ressourcen-Manager YARN und zu HDFS-Federation und High Availability. Weiterlesen
6Welche Hardware einsetzen?-
Hardware für Big Data
Für die Big-Data-Verarbeitung bieten sich verschiedene Hardwarekonfigurationen an. Dabei spielen Datenreplikation, Backup und Archivierung eine entscheidende Rolle.
So wirkt sich Big-Data-Analytics auf Storage aus
Anwendungen für Big-Data-Analytics stellen hohe Anforderungen an das Storage. Häufig wird eine komplett neue oder überarbeitete Struktur benötigt. Weiterlesen
Hyperkonvergenz: HDS bringt HSP-400-Serie für Big Data
HDS hat eine hyperkonvergente Lösung veröffentlicht, die dank der Open-Source-Software von Pentaho Big-Data-Umgebungen bedient. Weiterlesen
Big Data in einer Cloud-Umgebung speichern
Es hängt vom Datentyp ab, ob und welche Big-Data-Informationen sich in der Cloud oder besser am lokalen Standort speichern lassen. Weiterlesen
Flash-Speicher macht Big-Data-Management effizient
Flash-Technologie wird vermehrt im Data Center eingesetzt und kann Big-Data-Projekten auf die Sprünge helfen. Damit wird Big-Data-Management effizienter. Weiterlesen
Big Data: Backup- und Archiv-Daten verwenden
Backup- und Archivsysteme speichern permanent große, ungenutzte Datenmengen. Diese lassen sich für zusätzliche Zwecke wie Suche und Analytics nutzen. Weiterlesen
Storage trifft Big Data: Federation Business Data Lake
EMC hat eine vollintegrierte Lösung vorgestellt, die aus Storage- und Big-Data-Analytics-Technologien von EMC, VMware und Pivotal besteht. Weiterlesen
Object Storage oder Hadoop: Was ist die bessere Option?
Object Storage und Hadoop sind gute Cloud-Storage-Optionen. Allerdings eignet sich das Hadoop-Framework besser für Big-Data-Analytics in der Cloud. Weiterlesen
Big Data führt zu veränderten Archiv-Strategien
Big-Data-Analytik bedeutet, Archivdaten sind nicht mehr „kalt“, sondern nutzbringend. Das minimiert laut Analyst Jon Toigo den Wert der Archivierung. Weiterlesen
Big Data, Internet der Dinge und künftige Storage-Analysen
Die Datenflut des Internets der Dinge schafft Möglichkeiten und Notwendigkeiten der Storage-Analyse. Für dieses Big Data bedarf es eines neuen Blicks. Weiterlesen
Big Data und Hadoop verändern das Storage-Management
Integrieren Storage-Administratoren Big Data und Hadoop in Storage-Umgebungen, erleichtert dies das Daten-Management und die Analyse im Data Center. Weiterlesen
7Welche Grenzen hat Big Data?-
Datenschutz und Security
Mit der Auswertung von Big Data wachsen auch die Bedenken hinsichtlich des Datenschutzes personenbezogener Daten. Zudem entstehen durch den Einsatz neuer Technologien neue Security-Probleme.
Big Data Security Analytics: Funktion und Tools
Erfahren Sie, was Big Data Security Analytics ist, welche Tools am Markt vorhanden sind und wie sie eine bessere Ereignisanalyse ermöglichen. Weiterlesen
Evaluierungskriterien für Big Data Security Analytics
Die fünf Kriterien zur Evaluierung von Plattformen für Big Data Security Analytics sollte man kennen, da sie die Informationssicherheit erhöhen. Weiterlesen
Wann von Big Data Security Analytics profitiert
Big Data Security Analytics ist eine neue Technologie, mit der sich die IT-Sicherheit verbessern lässt. Doch nicht immer ist der Einsatz sinnvoll. Weiterlesen
Big Data und Sicherheit: Zwei mögliche Ansätze
Big Data bringt einerseits neue Sicherheitsrisiken – andererseits aber auch Tools zur Reduzierung traditioneller Bedrohungen. Welche das sind, lesen Sie hier. Weiterlesen
Informationssicherheit ist ein Big-Data-Thema
Security ist auch ein Big-Data-Problem. Um Angriffe zu erkennen, müssen Unternehmen ihre Datenbestände schnell sichten und Maßnahmen ergreifen. Weiterlesen
Den Datenschutz bei Big-Data-Projekten beachten
Qualität, Genauigkeit, Konsistenz und Transparenz der Daten gehören bei der Verarbeitung von Big Data zu den wichtigsten Aspekten des Datenschutzes. Weiterlesen
Information Governance reduziert Big-Data-Risiken
Information Governance minimiert die Risiken von Big Data. Ein Interview mit Barclay T. Blair, Geschäftsführer der Information Governance Initiative. Weiterlesen
Vier Modelle für NoSQL-Datenbanken-Security
Die Skalierbarkeit von Big Data ist zwar attraktiv, doch wie erreichen Sicherheitsexperten und Anwender die nötige Security für NoSQL-Datenbanken? Weiterlesen
Big Data und MapReduce: Unterscheidungsmerkmale bei SIEM-Anbietern
Produkte von SIEM-Anbietern weisen große Unterschiede auf. Ein mögliches Unterscheidungsmerkmal ist der Umgang mit Big Data und MapReduce. Weiterlesen
Wichtige Datenschutzkriterien bei Big-Data-Analysen
Big-Data-Analytik eröffnet neue Entscheidungsgrundlagen und Geschäftsmodelle. Dabei schafft der Datenschutz aber Grenzen für die Datenanalyse. Weiterlesen
Löschpflicht und Aufbewahrungsfrist für Big Data
Sobald die Aufbewahrungsfrist verstrichen ist, müssen personenbezogene Daten gelöscht werden. Viele Firmen verpassen den richtigen Zeitpunkt. Weiterlesen
8Was ist Big Data?-
Definitionen
Allgemeine Definitionen zu den Themen Big Data, Hadoop und NoSQL.