GPT4All: Open Source ChatGPT-Klon für Offline-Einsatz

Eigene Chat-KI im lokalen Netzwerk installieren

Ein großer Vorteil von GPT4All ist, dass die Open-Source-Lösung schnell einsatzbereit und leicht zu installieren ist. Die Integration erfolgt über einen Installer, der für Windows beziehungsweise Windows Server, macOS und Linux verfügbar ist. Bei der Einrichtung unterstützt ein Assistent.

Die Basisinstallation hat eine Größe von rund 170 MB. Über die Benutzeroberfläche lassen sich die Sprachmodelle herunterladen, die später in der Umgebung zur Verfügung stehen. Diese benötigen allerdings mehr deutlich Speicherplatz. Die Größe ist beim jeweiligen Modell angegeben. Das beliebte KI-Modelle Snoozy benötigt zum Beispiel rund 8 GB Speicherplatz.

Es stehen aber auch die OpenAI-Sprachmodelle zur Verfügung, zum Beispiel GPT-4 und GPT-3.5. Da diese jedoch nicht frei verfügbar sind, wird ein API-Key für diese Modelle benötigt. Hierfür ist ein Konto bei OpenAI erforderlich. Fragen zu diesem Modell können von GPT4All an ChatGPT gesendet werden.

GPT4All verwendet KI-Modell GPT4All-J

GPT4All verwendet das Open Source KI-Modell GPT4All-J. Allerdings zeigt sich schnell, dass der Chatbot nicht so umfangreich und effektiv arbeitet wie ChatGPT. Wenn der API-Key zu GPT-3 oder GPT-4 genutzt werden, sind die Ergebnisse deutlich besser. Wenn es um Datenschutz geht, ist die Verwendung von GPT4All und ein freies Sprachmodell aber empfehlenswert. Hinsichtlich der Qualität der Antworten sind ChatGPT und die Modelle GPT-3 sowie GPT-4 besser.

Bei Verwendung von Snoozy oder Vicuna ist die Qualität der Antworten hoch und es ist keine Internetverbindung erforderlich. Allerdings kann die KI dadurch keine aktuellen Informationen aus dem Internet verwenden. Die Antwortgeschwindigkeit hängt wiederum von der Leistungsfähigkeit des jeweiligen Computers ab, da dieser die KI-Anfragen verarbeitet. Standardmäßig nutzt GPT4All nicht die GPU des Computers, sondern die CPU. Damit GPT4All optimal funktioniert, sollte der Computer möglichst aktuell sein.

GPT4All in der Praxis

Nach dem Start von GPT4All und dem Download eines ersten Large Language Models (LLM) kann im oberen Teil des Fensters das gewünschte Sprachmodell ausgewählt werden. Danach kann der Benutzer im unteren Bereich eine Frage stellen und erhält die Antwort auf Basis des gewählten Modells. Über die Icons im oberen Bereich lassen sich verschiedene Einstellungen für den Chatbot vornehmen.

Natürlich können lokal betriebene Chatbots derzeit noch nicht mit der Qualität von ChatGPT mithalten, doch sie zeigen, welche Möglichkeiten es gibt und bieten wesentlich höhere Datenschutzstandards. Mit lokalen Modellen ist es aber nicht möglich, Daten selbst zu integrieren, mit denen das Modell lernt. Zudem ist die deutsche Sprache in den Open-Source-Modellen noch nicht optimal. Es ist zwar möglich, Fragen auf Deutsch zu stellen, doch der Chatbot antwortet auf Englisch.

FreedomGPT und AutoGPT: Alternativen zu GPT4All

Neben GPT4All gibt es noch weitere Lösungen, um KI-Sprachmodelle lokal zu nutzen. Prominente Alternativen in diesem Bereich sind FreedomGPT und AutoGPT. Diese Modelle unterscheiden sich jedoch von GPT4All. FreedomGPT kann derzeit nicht mit der Qualität von GPT4All oder ChatGPT mithalten.

AutoGPT verfolgt einen anderen Ansatz. Die lokale Installation verwendet OpenAI-Modelle. AutoGPT kann aber mehr als nur Fragen beantworten. Das KI-Programm kann selbstständig Projekte durchführen und Aktionen erzeugen. Dazu erstellt AutoGPT selbstständig eigene Aufgaben, die es ausführt. Das Tool ist somit in der Lage, Aufgaben mit KI zu automatisieren.