SLM versus LLM: Die Datenarchitektur bedarfsgerecht anpassen

Kleine Modelle sind auf dem Vormarsch

Dieser Trend, Modelle an den jeweiligen Zweck anzupassen, anstatt einfach das größte Modell zu verwenden, hat sich 2024 als tragfähige Strategie herauskristallisiert. Er erlangte größere Aufmerksamkeit, als Forscher von Nvidia im September 2025 ein Paper mit dem Titel Small Language Models are the Future of Agentic AI veröffentlichten.

Darin argumentieren sie, dass SLMs für viele agentische KI-Workloads „ausreichend leistungsfähig, von Natur aus besser geeignet und zwangsläufig wirtschaftlicher“ seien, und empfahlen den Einsatz heterogener Agenten, die Low-Level-Aufgaben an ein SLM weiterleiten und nur komplexere Aufgaben an ein LLM eskalieren.

Das Interesse an SLMs ist noch relativ begrenzt, da sich die meisten Unternehmen weiterhin darauf konzentrieren, wie sie die dominierenden LLMs nutzen können, um ihre Arbeitsabläufe, Produkte und Dienstleistungen zu transformieren.

Dennoch gibt es Anzeichen für eine zunehmende Nutzung von SLMs, was auf eine strategische Verlagerung hin zu aufgabenspezifischen Modellen hindeutet. Gartner prognostiziert, dass Unternehmen bis 2027 SLMs dreimal häufiger einsetzen werden als universelle LLMs. Ein Bericht von SNS Insider aus dem Jahr 2025 bezifferte den weltweiten SLM-Markt im Jahr 2023 auf 7,9 Milliarden US-Dollar und prognostizierte, dass er bis 2032 29,64 Milliarden US-Dollar erreichen wird.

Aufgaben der Modellgröße zuordnen

LLMs verfügen über mehrere zehn bis mehrere hundert Milliarden Parameter. Diese Größenordnung macht LLMs wertvoll, da sie eine große Anzahl komplexer, weitreichender Aufgaben bewältigen können. Allerdings erfordern LLMs enorme Rechenleistung, was sie ressourcenintensiv macht. Aufgrund ihrer Größe nutzen viele Unternehmen LLMs als Endpunkt eines Cloud-Anbieters, anstatt sie intern bereitzustellen.

SLMs erreichen in der Regel maximal zehn Milliarden Parameter und verfügen meist über weit weniger – in vielen Fällen nur über Millionen. Durch ihre geringere Größe liefern SLMs oft schneller Ergebnisse und lassen sich leichter lokal oder in Edge-Computing-Umgebungen für spezielle Workloads bereitstellen.

SLMs haben gegenüber LLMs mehrere Vorteile:

• Zweckmäßigkeit. Aufgrund ihrer Größe und Geschwindigkeit eignen sich SLMs ideal für einfachere Aufgaben wie das Sortieren von Dokumenten und das Zusammenfassen von Besprechungsnotizen.
• Bessere Reaktionsfähigkeit. Kleinere Modelle können bei fokussierten Aufgaben schneller Antworten liefern, da sie weniger Rechenaufwand erfordern.
• Geringere Kosten. Nvidia behauptet, dass KI-Inferenz mit SLMs 10- bis 30-mal kostengünstiger sein kann als mit LLMs, wenn die Hardware voll ausgelastet ist. Der Einsatz von SLMs kann zudem dazu beitragen, den höheren Energieverbrauch und die damit verbundenen Kosten von LLMs zu vermeiden.
• Von Grund auf privat. SLMs eignen sich besonders für die Arbeit mit sensiblen Daten – beispielsweise bei der Verarbeitung von Rechtsverträgen, Krankenakten oder Finanzdaten –, da sie auf internen Servern oder Edge-Geräten ausgeführt werden können. Dadurch verbleiben die Daten innerhalb der Unternehmensumgebung und nicht in einer öffentlichen Cloud.
• Konsistente Ergebnisse. SLMs lassen sich im Allgemeinen leichter auf vorhersehbare Ergebnisse abstimmen.

Für Datenverantwortliche ist die Schlussfolgerung einfach: Fangen Sie klein an und steigen Sie bei Bedarf auf ein LLM um. Dieser Ansatz hilft Unternehmen, die Servicequalität aufrechtzuerhalten und gleichzeitig die Laufzeitkosten vorhersehbar zu halten. Bei der Automatisierung großer Datenmengen sorgt der Einsatz von SLMs für stabilere Ausgaben als der Betrieb großer, cloud-abhängiger Modelle.

Solche Faktoren haben Zach Rossmiller, CIO an der University of Montana, dazu veranlasst, zu prüfen, wo kleinere Modelle besser geeignet sein können als LLMs. „Für uns kommt es auf die Anwendungsfälle an“, sagt er.

Er hat den Einsatz von SLMs für Workloads in Betracht gezogen, bei denen sensible Daten in lokalen Systemen geschützt bleiben, sowie zur Unterstützung eines möglichen digitalen Nachhilfedienstes, der auf einem Raspberry Pi oder anderen Endgeräten für Schüler in ländlichen Gebieten läuft, denen ein zuverlässiger Hochgeschwindigkeits-Internetzugang fehlt.

SLMs scheinen laut Rossmiller eine gute Wahl für spezifische Anwendungsfälle wie diese zu sein, bei denen Faktoren wie Datenschutz- und Konnektivitätsbedenken den Einsatz von LLMs ausschließen können.

Zu viele kleine Modelle können zu Verzögerungen führen

Holger Mueller, Principal Analyst und Vice President bei Constellation Research, steht SLMs skeptischer gegenüber. Er sieht darin keinen großen Nutzen und meint, dass Nutzer schnell an ihre Grenzen stoßen und fragen werden: „Ist das alles, was es kann?“

Mueller betont, dass die Abhängigkeit von zu vielen SLMs die Nutzer zudem in eine „Integrator“-Rolle drängen werde, in der sie Wege finden müssten, mehrere kleine Modelle zu koordinieren und zu integrieren, was die Kosten- und Zeitersparnisse zunichte machen kann. Er fügt hinzu, dass ein weiterer potenzieller Nachteil die Notwendigkeit spezifischer Schulungen anhand von Unternehmensdaten sei, damit die SLMs effektiv seien.

SLMs scheinen laut Mueller nur in einer Handvoll seltener Fälle von Vorteil zu sein, in denen die Szenarien einen engen Anwendungsbereich haben und dies auch beibehalten.

Er verweist aber auch darauf, dass es „etwas ist, das man im Auge behalten sollte“, wenn mehr LLM-Entwickler beginnen, kleine Modelle in ihr Angebot aufzunehmen.

Berücksichtigen Sie die architektonischen Gegebenheiten

Zwar können SLMs vor Ort betrieben werden, doch hängt ihre Nützlichkeit von mehreren Faktoren ab.

Die meisten Unternehmen werden weiterhin auf LLMs setzen, die Datenplattformen erfordern, um sichere, schnelle Übertragungen zu Cloud-KI-Plattformen zu unterstützen. Das Hinzufügen von aufgabenorientierten SLMs kann jedoch zusätzliche Investitionen erfordern, um eine verteilte, hybride Architektur aufzubauen, die sensible Daten dort belässt, wo sie sich bereits befinden, um Compliance- und Datenschutzanforderungen zu erfüllen und die Kosten für die Datenübertragung zu senken.

Die Forscher von Nvidia schreiben, dass Unternehmen ihre Ökosysteme möglicherweise auf KI-Agenten zuschneiden müssen, die Aufgaben automatisch an das richtige Modell weiterleiten.

„Die Cloud ist immer eine Option, aber es gibt auch selbst gehostete Endpunkte, die lächerlich niedrige Kosten haben“, sagt Korres. „Und wenn ein Projekt mehr Kontrolle oder eine Isolierung des Datenflusses oder der Datenresidenz erfordert, dann können kleinere Modelle definitiv auf lokalen Geräten gehostet werden.“

Lokale Modelle bieten Datenschutz und Vorhersehbarkeit

Da sie kleiner und fokussierter sind, lassen sich SLMs aus Sicht von Governance, Risiko und Compliance leichter verwalten, insbesondere wenn sie lokal oder in einer privaten Cloud laufen. Der enge Anwendungsbereich von SLMs trägt zu Transparenz, Überwachung und Überprüfbarkeit bei und verringert das Risiko der Datenpreisgabe im Vergleich zu großen Modellen in der öffentlichen Cloud.

Darüber hinaus können lokal ausgeführte SLMs die Reproduzierbarkeit verbessern, was bedeutet, „dass jeder andere die gleichen Schritte befolgen und das gleiche Ergebnis erzielen kann“, sagt Jonathan Chang, Assistenzprofessor für Informatik am Harvey Mudd College. Im Gegensatz dazu ist die Reproduzierbarkeit bei Modellen, die in öffentlichen Clouds gehostet werden, nicht gewährleistet.

Laut Korres können Unternehmen die Leistung von SLMs leichter bewerten als bei der Verwendung eines universellen LLM, da SLMs oft für eng definierte Aufgaben eingesetzt werden. Einige Risiken sind jedoch unabhängig von der Modellgröße ähnlich.

„Sowohl kleine als auch große Modelle neigen zu Halluzinationen. Sie können Ergebnisse liefern, die irreführend sein können. Sie könnten Trainingsdaten preisgeben, was Datenschutzbedenken nach sich ziehen kann“, sagt Chang.

Kosten versus Leistung

Wie viele Führungskräfte im Bereich Unternehmenstechnologie bereits wissen, können die mit dem Einsatz von LLMs verbundenen Kosten hoch und unvorhersehbar sein. Zudem weist Chang auf die Umweltauswirkungen von LLMs hin.

„Größere Modelle benötigen mehr Ressourcen für den Betrieb. Sie verbrauchen mehr Energie und verursachen daher höhere CO2-Emissionen“, sagt er.

Im Gegensatz dazu bieten SLMs niedrigere, besser vorhersehbare Betriebskosten bei geringeren Auswirkungen auf die Umwelt. Um diese Vorteile zu nutzen, ist jedoch die richtige Infrastruktur für den Betrieb der Modelle erforderlich. Die finanziellen Vorteile des lokalen Betriebs von SLMs können zunichte gemacht werden, wenn das Unternehmen ein neues Rechenzentrum einrichten oder andere IT-Investitionen tätigen muss.

Unternehmen müssen den strategischen Einsatz von SLMs umfassend abwägen, um sicherzustellen, dass die Modellwahl zur Aufgabe passt.

„Wenn es sich um eine klar definierte Aufgabe handelt, die eng genug gefasst ist, sehe ich mehr Vorteile als Risiken bei der Verwendung eines kleineren Modells“, sagt Korres. „Wenn die Funktion jedoch recht allgemein ist oder man etwas benötigt, das Agenten verwalten oder Dinge spontan definieren kann, machen größere Modelle den Unterschied.“

Andere Experten kommen zu ähnlichen Einschätzungen und verweisen darauf, dass die Arbeitslast darüber entscheiden sollte, ob ein kleines oder großes Modell gewählt wird.

„Wenn Sie eine gigantische Datenmenge benötigen, dann ist ein LLM die richtige Antwort“, sagt Chang. „Aber wenn Sie feststellen, dass der größte Teil Ihrer Probleme bei einzelnen Mitarbeitern liegt, die kleine Aufgaben automatisieren müssen, oder wenn Sie mit sensiblen Daten arbeiten und vollständige Kontrolle von Anfang bis Ende wünschen, oder wenn Ihnen Reproduzierbarkeit wichtig ist, dann sind kleine Modelle eine praktikable Option.“