GPT-4

Was ist GPT-4?

GPT-4 ist ein multimodales Sprachmodell von OpenAI, das Text aus textuellen und visuellen Eingaben generiert. OpenAI ist ein US-amerikanisches KI-Forschungsunternehmen, das unter anderem auch Dall-E, ChatGPT und den Vorgänger von GPT-4, GPT-3, entwickelt hat.

GPT-4 kann komplexere Aufgaben bewältigen als frühere GPT-Modelle. Das Modell zeigt bei vielen professionellen und akademischen Benchmarks eine Leistung auf dem Niveau von Menschen. Es wurde entwickelt, um die Ausrichtung und Skalierbarkeit für große Modelle dieser Art zu verbessern.

Was bedeutet GPT-4?

GPT-4 steht für Generative Pre-Trained Transformer 4.

GPTs sind Machine-Learning-Algorithmen, die auf Texteingaben reagieren. Sie haben folgende Eigenschaften:

• Generativ. Sie erzeugen neue Informationen.
• Vortrainiert. Sie durchlaufen zunächst eine unbeaufsichtigte Vortrainingsphase unter Verwendung eines großen Datensatzes. Dann durchlaufen sie eine überwachte Feinabstimmungsphase, um das Modell zu steuern. Modelle können auf bestimmte Aufgaben fein abgestimmt werden.
• Transformatoren. Sie verwenden ein Modell für Deep Learning – Transformers –, das Kontext lernt, indem es Beziehungen in sequenziellen Daten verfolgt. Konkret verfolgen GPTs Wörter oder Token in einem Satz und sagen das nächste Wort oder den nächsten Token voraus.

Was sind Generative Pre-trained Transformers?

GPTs wurden von OpenAI in einem Paper von 2018 mit dem Titel Improving Language Understanding by Generative Pre-Training (PDF) vorgestellt. In diesem Paper wurde das halbüberwachte Lernmodell von GPT beschrieben, das sich von anderen Modellen zur Verarbeitung natürlicher Sprache unterscheidet, die überwachtes Lernen und gekennzeichnete Daten verwenden.

Die Verarbeitungsleistung von GPT skaliert mit der Anzahl der Parameter, die das Modell hat. Jedes neue GPT-Modell hat mehr Parameter als das vorherige. GPT-1 hat 0,12 Milliarden, GPT-2 hat 1,5 Milliarden Parameter. GPT-3 hat bereits mehr als 175 Milliarden Parameter. Die genaue Anzahl der Parameter in GPT-4 ist nicht bekannt, aber es wird spekuliert, dass es mehr als 1 Billion Parameter sind.

GPT ist das erste große multimodale Modell seiner Art. Es wird manchmal auch als Modell der nächsten Generation bezeichnet. GPT-4 kann Bildeingaben in Text umwandeln.

Training und Fähigkeiten von GPT-4

OpenAI hat wenig Informationen über die technischen Spezifikationen von GPT-4 veröffentlicht. Es gibt keine Informationen über die Daten, die zum Training des Systems verwendet werden, die Modellgröße, die Energiekosten des Systems, die Hardware, auf der es läuft, oder die Methoden, die zur Erstellung des Systems verwendet werden. OpenAI räumte dies in dem technischen Paper zu GPT-4 ein und erklärt, dass sie diese Informationen aus Sicherheitsgründen und wegen des hart umkämpften Marktes nicht veröffentlichen. OpenAI räumt ein, dass GPT-4 sowohl auf öffentlich zugänglichen Daten als auch auf Daten, die von Dritten lizenziert wurden, trainiert wurde.

Das Alignment Research Center testete das Modell und bewertete die Risiken, die sich aus dieser Strategie ergeben. Das Forschungszentrum führte unter anderem folgende Tests durch:

• Testen, ob ein zukünftiges Modell in freier Wildbahn ausfallen würde, indem es sich selbst repliziert.
• Durchführung eines Phishing-Angriffs gegen eine Zielperson.
• Verstecken seiner Spuren auf einem Server.
• Nutzung von Diensten wie TaskRabbit, um Menschen dazu zu bringen, Aufgaben in der realen Welt auszuführen.

GPT-4 – und andere GPTs – werden mit Unterstützung bestärkenden Lernens aus menschlichem Feedback trainiert. Modelle werden belohnt, wenn sie sich wie gewünscht verhalten oder wenn sie eine Reihe von Regeln befolgen. GPT-4 erhält während des Trainings eine zusätzliche Sicherheitsbelohnung, um schädliche Ausgaben zu reduzieren. Dies hilft ihm, ethisch zu handeln. OpenAI hat die Genauigkeit von GPT-4 bei kontradiktorischen Fragen mit Unterstützung des KI-Unternehmens Anthropic getestet. Einige Beispielregeln von Anthropic lauten wie folgt:

• Wähle die Antwort, die dem am ähnlichsten klingt, was eine friedliche, ethische und weise Person wie Martin Luther King Jr. oder Mahatma Ghandi sagen würde.
• Wähle die Antwort, die weniger schädlich ist, und achte dabei genau darauf, ob die jeweilige Antwort zu illegalen, unethischen oder unmoralischen Handlungen ermutigt.

OpenAI hat mehrere Demos veröffentlicht, die die Fähigkeiten von GPT-4 zeigen. Zu den bemerkenswerten Fähigkeiten gehören:

Bestehen von akademischen Tests mit einem hohen Maß an Genauigkeit. GPT-4 erzielt bei fortgeschrittenen Examen wie dem Uniform Bar (90. Perzentil), dem LSAT (88. Perzentil), dem Math SAT (89. Perzentil) und dem GRE Quantitative Examen (80. Perzentil) bessere Ergebnisse.

Suche nach einem gemeinsamen Thema zwischen zwei Artikeln. Der Benutzer kann zwei Artikel in die Eingabeaufforderung einfügen und das Modell bitten, eine Zusammenfassung der gemeinsamen Themen zwischen den Artikeln zu erstellen.

Verwendung als Programmier- und Fehlerbehebungsassistent. Der Benutzer kann das Modell auffordern, in Pseudocode zu programmieren, und dann den Code für einen Discord-Bot schreiben. Wenn ein Fehler auftritt, kann der Benutzer die Fehlermeldung in die Eingabeaufforderung einfügen, und das Modell korrigiert den Code.

Ein Bild in anschaulichen Details beschreiben. Benutzer können dem Modell einen Screenshot ihres Browserfensters vorlegen, und es beschreibt alles, was es sieht.

Genaues Erkennen, was an einem Bild lustig ist. Das Modell kann ein Bild analysieren und die Ungereimtheiten identifizieren, die es lustig machen. Humor in der KI ist traditionell schwierig zu lösen.

Codierung einer Website anhand eines Bildes des Umrisses. Der Benutzer kann ein einfaches Website-Layout von Hand entwerfen – mit kaum lesbarer Handschrift –, ein Foto davon als Eingabeaufforderung hochladen, und das Modell kann eine Website mit JavaScript und HTML auf der Grundlage des vom Benutzer vorgelegten rudimentären Bildes codieren.

Steuern mit Unterstützung von Steuerkennzeichen berechnen und die Gründe dafür erläutern. Der Benutzer kann das Modell anweisen, Steuergesetze zu lesen und anzuwenden, und ihm dann eine Aufgabe stellen, bei der es um den Standardsteuerabzug einer Person auf der Grundlage von Details aus ihrem Leben geht.

Konsistenter Umgang mit komplexer und anspruchsvoller Sprache in einem juristischen Dokument. Das Modell kann Dokumente überprüfen, juristische Forschungsnotizen verfassen, sich auf Zeugenaussagen vorbereiten und Verträge analysieren.

Wie jedes Sprachmodell halluziniert auch GPT-4 Informationen, gibt falsche Antworten und produziert in einigen Fällen fehlerhaften Code. Es kann auch immer noch anfällig für rassistische und geschlechtsspezifische Vorurteile sein. Das Tool dient der Erweiterung menschlicher Aufgaben, nicht dem Ersatz des Menschen, der die Aufgabe erledigt.

GPT-4 versus GPT-3

GPT-3 ist ein großes Sprachmodell (Large Language Model, LLM), was bedeutet, dass es ausschließlich Sprachverarbeitung durchführt. GPT-4 ist ein großes multimodales Modell, das Bild- und Texteingaben verarbeiten kann. OpenAI betont, dass das Ziel von GPT-4 darin bestand, Deep Learning zu erweitern.

Die beiden Modelle unterscheiden sich unter anderem in folgenden Punkten:

• GPT-4 ist eine deutliche Verbesserung gegenüber GPT-3. Es übertrifft andere Modelle in Englisch und übertrifft sie in anderen Sprachen bei weitem. Im Englischen lautet ein einfaches Beispiel wie folgt: Der Benutzer gibt GPT 3.5 einen Artikel und sagt: "Summarize this in one sentence where every word begins with the letter T." GPT 3.5 kann das nicht, während GPT-4 es kann.
• GPT-4 kann mit längeren Aufforderungen umgehen als GPT-3. Insbesondere kann es bis zu 25.000 Wörter analysieren, lesen und generieren.
• Auswertungen unter Verwendung des HellaSwag-Framework zeigen, dass GPT-4 das menschliche Niveau des vernünftigen Denkens erreicht hat.
• GPT-4 ist bei der Verarbeitung von Programmieranweisungen deutlich besser als GPT-3.
• GPT-4 ist gut steuerbar. Während GPT-3 in einem einheitlichen Ton und Stil antwortet, können die Benutzer GPT-4 mit expliziten Anweisungen mitteilen, wie sie es haben möchten. Dies kann bei der Gestaltung der Eingabeaufforderung unterstützen und die Eingabeaufforderungstechnik verbessern. Der Benutzer kann das Verhalten des Modells mit einer separaten Systemnachricht anpassen. Die Steuerbarkeit von GPT-4 verbessert sich mit der Zeit.
• GPT-4 ist darauf trainiert, die Möglichkeit schädlicher Antworten einzuschränken und auf Anfragen nach nicht zugelassenen Inhalten nicht zu antworten. So wurde GPT-4 beispielsweise darauf trainiert, Anfragen zur Synthese gefährlicher Chemikalien abzulehnen und Fragen zum Kauf von Zigaretten zu beantworten, ohne zum Rauchen aufzufordern.
• GPT-4 ist besser in den Grundrechenarten als GPT-3, obwohl er nicht mit einem Taschenrechner verbunden ist.

Wie bei GPT-3 enden die Trainingsdaten von GPT-4 im Jahr 2021, so dass es nicht auf Anfragen reagieren kann, die aktuellere Daten erfordern. Im Gegensatz zu GPT-3 kann der Benutzer GPT-4 die fehlenden aktuellen Daten mitteilen, und GPT-4 kann sie erfolgreich in seine Antwort einbauen.

Wann wurde GPT-4 veröffentlicht?

GPT-4 wurde am 14. März 2023 veröffentlicht. In einem Interview mit ABC News sagte Sam Altman, CEO von OpenAI, wenige Tage nach der Veröffentlichung: „Wir müssen hier vorsichtig sein, und außerdem funktioniert es nicht, das alles in einem Labor zu machen. Wir müssen all diese Produkte in die Welt hinausbringen und mit der Realität in Kontakt treten, unsere Fehler machen, solange noch nicht zu viel auf dem Spiel steht. Ich denke, die Leute sollten froh sein, dass wir ein bisschen Angst vor dieser Sache haben.“

Wann kann ich GPT-4 verwenden?

Das Modell befindet sich noch in der Entwicklung und ist daher noch nicht für die breite Öffentlichkeit zugänglich. Insbesondere die Bildfunktion befindet sich in der Preview. OpenAI arbeitet mit einem Unternehmen – Be My Eyes – zusammen, um es für die Nutzung durch die breite Öffentlichkeit vorzubereiten. Es ist weiterhin möglich, die Textfunktionen von GPT-4 zu nutzen. Zum jetzigen Zeitpunkt gibt es zwei Möglichkeiten, dies zu tun:

• ChatGPT Plus. Mit einem kostenpflichtigen Abonnement von ChatGPT Plus erhalten Nutzer Zugang zu GPT-4. ChatGPT Plus hat eine dynamisch angepasste Nutzungsobergrenze. GPT-4 innerhalb von ChatGPT Plus läuft derzeit langsamer als ChatGPT mit GPT-3.5.
• Bing. GPT-4 betreibt auch den in die Bing-Suchmaschine integrierten Chatbot, den Microsoft mitentwickelt hat. Der Chatbot von Bing hat eine Nutzungsobergrenze und erlaubt keine Bildeingabe.

Entwickler können die API auch auf einer Pay-per-Use-Basis nutzen. Dazu müssen sie sich auf eine Warteliste setzen lassen.

Mehrere andere Unternehmen haben die Integration von GPT-4 in ihre Anwendungen angekündigt, darunter Duolingo, Morgan Stanley, Khan Academy, Stripe und CoCounsel. Das Modell wird auch in Zusammenarbeit mit der Abteilung für Sprachplanung der isländischen Regierung eingesetzt, die sich für den Erhalt der isländischen Sprache einsetzt.

Auch Nutzer können das Modell bewerten. Der CEO von OpenAI, Sam Altman, twitterte am 14. März 2023, dass das Unternehmen ein Evaluierungs-Framework zur Verfügung stellt, mit dessen Unterstützung es die Fähigkeiten des KI-Modells bewerten kann.

GPT-4 ist derzeit nicht kostenlos. Benutzer müssen 20 Dollar pro Monat zahlen, um die Premium-Version von ChatGPT zu nutzen, die auf GPT-4 basiert. Es gibt eine dynamisch angepasste Nutzungsobergrenze.