cherezoff - stock.adobe.com

Feature

Hopsworks: Data Lakehouse für KI- und ML-Lösungen

Hopsworks ist ein Data Lakehouse für künstliche Intelligenz (KI). Das vermarktete AI Lakehouse ist auf die Anforderungen von KI- und Machine-Learning-Prozessen ausgelegt.

Tobias Servaty-Wendehost
von
Zuletzt aktualisiert:13 Sept. 2024

Hopsworks wurde 2018 in Stockholm von Forschern der Königlich Technischen Hochschule Stockholm und des Research Institutes of Sweden (RISE) sowie ehemaligen MySQL-Mitarbeitern gegründet. Das Unternehmen sieht sich als Pionier bei der Entwicklung einer zusammenhängenden Plattform für Datenverarbeitung und KI auf Basis eines Data Lakehouses.

Im Zentrum steht dabei das sogenannte AI Lakehouse. Dahinter verbirgt sich eine Datenmanagementinfrastruktur, die auf die Anforderungen von KI- und maschinellen Lernprozessen ausgelegt ist. Es ermöglicht die Bereitstellung und Entwicklung von KI-Modellen und bietet einen Ansatz für den Aufbau und die Wartung von KI-Systemen.

„Analytische Daten werden in das Lakehouse verlagert, um Kosten zu senken und die Abhängigkeit von Anbietern zu verringern. Das Lakehouse öffnet den Daten-Stack und trennt Query Engines von der Speicherung“, sagt Jim Dowling, CEO und Mitbegründer von Hopsworks. „Echtzeit-KI und Python spielen im Lakehouse jedoch nur eine untergeordnete Rolle bisher. Das ändern wir mit unserer AI-Lakehouse-Lösung“

Hopsworks 4.0: Einführung des AI Lakehouse

Im Juni 2024 stellte Hopsworks Version 4.0 seiner Plattform vor, die für die Entwicklung von KI-Systemen optimiert ist und nun unter der Bezeichnung AI Lakehouse vermarktet wird. Zu den Neuerungen gehören Echtzeitdaten für Retrieval-augmented Generation (RAG), nativer Python-Zugriff via ArrowFlight und Funktionen zur Feinabstimmung von Large Language Models (LLM).

Zu den weiteren Merkmalen zählen daneben:

  • Hohe Leistung und Verfügbarkeit: Hopsworks 4.0 ist so entwickelt, dass es Hardware- und Netzwerkausfälle übersteht. Es bietet eine regionsübergreifende Replikation. Im Falle eines Ausfalls des Rechenzentrums können Benutzer ohne Datenverlust in eine andere geografische Region wechseln.
  • Kubernetes-Distribution: Hopsworks kann nun mit Helm Charts bereitgestellt, gewartet und aktualisiert werden. Es lässt sich überall bereitstellen, von Cloud-Plattformen bis hin zu lokalen Air-Gapped-Systemen.
  • Hopsworks Query Service: Der Dienst bietet Python-Clients beim Lesen von Daten aus dem Lakehouse einen bis zu 45-mal höheren Durchsatz im Vergleich zu Databricks, Sagemaker und Vertex AI.
  • Unterstützung für die Funktionsüberwachung: Anwender können nachverfolgen, wie sich ihre Daten im Laufe der Zeit verändern, und sie mit Daten vergleichen, die zum Trainieren einer bestimmten Version eines Modells verwendet wurden.
  • Vektorsuche/Einbettungen: Unterstützung für Vektor- und Ähnlichkeitssuche wurde hinzugefügt, um Benutzern die einfache Erstellung von GenAI-Anwendungen durch Nutzung von RAG LLMs zu ermöglichen.

Hopsworks setzt auf europäischen Standort

Der CEO des Unternehmens betont, dass Hopsworks einen europäisch geprägten Ansatz verfolgt, um mit den großen US-amerikanischen Lakehouse-Anbietern zu konkurrieren.

„Ich komme aus Irland und bin überzeugter Europäer. MySQL hätte ein Multi-Milliarden-Dollar-Unternehmen in Europa mit Sitz in Schweden sein können, wurde aber 2010 an Oracle verkauft, weil jemand eine Ranch kaufen wollte. Ich war damals bei MySQL und möchte nicht, dass Hopsworks dasselbe Schicksal ereilt. Auch unser Führungsteam, das aus erfahrenen Gründern und Managern anderer Datenunternehmen besteht, sieht das so.“

Jim Dowling, CEO von Hopsworks
Abbildung 1: Europäische Unternehmen müssen sich laut Hopsworks-CEO Jim Dowling besser gegenüber Wettbewerbern aus Asien und den USA positionieren.

Mit Blick auf den Wettbewerb aus den USA sagt Dowling: „Europa hat das Talent, große Unternehmen zu gründen, aber die USA haben das Know-how, um diese zu skalieren. Schauen Sie sich Databricks an – der Gründer Ali Ghodsi, ein Freund von mir, war auf meiner Hochzeit. Was Databricks von San Francisco aus erreicht hat, wollen wir von Europa aus schaffen.“

Im Wettbewerb mit den Branchenriesen sieht Dowling einen klaren Vorteil für Hopsworks bei europäischen Kunden. „CIOs kommen nach einem Versuch mit Databricks zu uns zurück, weil Databricks aus den USA zu langsam ist, insbesondere da ihre europäischen Kunden die Cloud von hier aus anfragen müssen.“

Finanzierungsrunden für Hopsworks

Aktuell bereitet sich Hopsworks auf seine vierte Finanzierungsrunde vor, um das Wachstum im Markt für KI/ML-Lakehouses zu beschleunigen. Das Unternehmen will sich dabei mit Branchengrößen wie Databricks, Amazon SageMaker und Google Vertex AI messen.

Laut Crunchbase hat Hopsworks bisher 13,8 Millionen US-Dollar an Finanzmitteln erhalten. Die kommende Runde könnte die größte bisher werden, sollte es Hopsworks gelingen, den aktuellen Hype um KI-Datenverarbeitung auszunutzen.

Die neue Finanzierungsrunde zur Erweiterung des Unternehmens wird diesen Herbst eingeleitet und soll Anfang nächsten Jahres abgeschlossen sein.

Hopsworks stellte sich im Rahmen der IT Press Tour (in Istanbul) vor, die mehrmals im Jahr Besuche bei Start-ups und IT-Unternehmen organisiert.

Erfahren Sie mehr über Datenverwaltung