Groq LPU Inference Engine stellt NVIDIA-GPUs in den Schatten

Architektur der LPU Inference Engine

Im Gegensatz zu Grafikprozessoren hat die LPU einen einzigen Kern und eine TISC-Architektur (Temporal Instruction Set Computer). „Wir verwenden kein High Bandwidth Memory. Wir müssen die Prozesse nicht aus dem Speicher nachladen, wie es bei GPUs mit HBM der Fall ist."

LPUs benötigen somit keine schnelle Datenübertragung vom Speicher über Protokolle wie Nvidias GPUDirect, da es in einem Groq-System kein HBM gibt. Die LPU verwendet SRAM „Wir haben eine etwa 20-mal schnellere Bandbreite zu unserem Speicher als GPUs zu HBM. Außerdem sind die Datenmengen, die in einem Inferenzlauf verwendet werden, klein in Vergleich zu den riesigen Datensätzen in einem Modell-Trainingslauf“, erklärt der Groq-Gründer.

Aus diesem Grund sei die LPU viel energieeffizienter. „Wir müssen weniger aus dem externen Speicher lesen. Die LPU verbraucht weniger elektrische Energie als eine Nvidia-GPU, um eine Inferenzaufgabe auszuführen“, sagt er.

Die Leistung wird als Latenzzeit und Durchsatz gemessen, das heißt als Token pro Sekunde (Token per Second, TPS). Ein Token ist die Textdatenverarbeitungseinheit in einem Large Language Model (LLM). Die LPU von Groq hat einen höheren TPS-Wert als ein Nvidia-Grafikprozessor, braucht also weniger Zeit, um eine Anfrage abzuschließen, und antwortet auch schneller, da sie eine geringere Latenzzeit hat. Laut Ross reagiert die LPU verlässlich schnell und macht damit Echtzeitgespräche zuverlässig möglich.

Mehr als 80 LLMs sind für Groq bereits kompiliert wurden. Die Modellkompilierung ist schnell, da mehrere LPU-Chips für die Aufgabe eingesetzt werden, und sie dauert nur wenige Stunden. Die Zeit, die benötigt wird, um Zugriff auf das Modell zu erhalten, es zu kompilieren und es auf Groq zum Laufen zu bringen, beträgt vier bis fünf Tage.

Zusammenfassung

Die LPU Inference Engine weist laut Groq mehrere Merkmale auf:

• Niedrige Latenz: Die Engine ist für Echtzeit-Inferenz optimiert und bietet eine schnelle und reaktionsschnelle Leistung für Anwendungen, die eine geringe Latenz benötigen.
• Geringer Stromverbrauch: Die Engine ist so konzipiert, dass sie stromsparend ist und sich daher für batteriebetriebene Geräte eignet.
• Kompakte Größe: Die kompakte Größe der Engine ermöglicht die Ausführung auf Geräten mit begrenztem Speicher und begrenzter Speicherkapazität.
• Flexible Hardware-Unterstützung: Die Engine kann auf verschiedenen Hardware-Plattformen laufen, darunter CPUs, GPUs und spezielle KI-Chips.
• Einfache Integration: Die Engine bietet eine einfache API für die Integration mit einer Vielzahl von Software-Frameworks und Plattformen.

Groq stellte seine Lösungen im Rahmen der IT Press Tour (in San Francisco und der Bay Area) vor, die mehrmals im Jahr Besuche bei Start-ups und IT-Unternehmen organisiert.