Video-Kurs: Hinter den Kulissen von ChatGPT
Dieser Video-Kurs ist entstanden im Rahmen der Veranstaltungsreihe Künstliche Kommunikation – Schrift und Schreiben unter algorithmischen Bedingungen. Ursprünglich als Präsenz-Workshop konzipiert, haben wir uns wegen der großen Nachfrage entschlossen, den Kurs in dieser Form einer breiteren Öffentlichkeit anzubieten.
Ziel des Kurses ist es, auch technischen Laien einen profunden Einblick in die Funktionsweise von großen Sprachmodellen (Large Language Models, kurz: LLMs) zu geben. Das ist die Technologie, die hinter Anwendungen wie ChatGPT, Claude oder Gemini steckt.
Wir haben hier nicht den Anspruch, jedes technische Detail zu klären – das würde den Rahmen eines solchen Kurses bei weitem sprengen. Sehr wohl aber wollen wir einige von uns als wesentlich erachtete Punkte gründlich darstellen.
Wesentliches Element dieses Kurses sind die praktischen Übungen: Wir haben Beispielprogramme zum selbst ausprobieren vorbereitet. Für die Nutzung der Beispiele in Video 7, 8 und 9 ist ein Google-Account notwendig.
Die mit „coming soon“ gekennzeichneten Inhalte werden Schritt für Schritt bis Anfang Mai 2025 bereitgestellt.
Video 01 : Token für Token
In diesem Video erfährst Du, wie Große Sprachmodelle Texte zusammenbauen, und zwr Wort für Wort, genauer gesagt: Token für Token.
Video 02 : Der Nonsense-Texter
Große Sprachmodelle erlernen anhand ungeheuer großer Textmengen, Tokensequenzen fortzusetzen. In diesem Video zeigen wir ein Verfahren, das weit über 100 Jahre alt ist und ähnliches leistet, den sogenannten Markow-Prozess. Der vermag amüsante Ergebnisse hervorzubringen, hat aber einige Schwächen.
Beispielprogramm Nonsense-Texter Buchstaben-Version
Beispielprogramm Nonsense-Texter Wort-Version
Video 03 : Eigenschaften von Sätzen und Texten
Markow-Prozesse und moderne große Sprachmodelle haben einige Gemeinsamkeiten, es gibt aber auch große Unterschiede. Die nehmen wir in diesem Video unter die Lupe. Zudem schauen wir uns einige im Zusammenhang mit Sprachmodellierung relevante Eigenschaften von Sätzen und Texten an.
Video 04 : Künstliche Neuronale Netze
Um zu verstehen, wie große Sprachmodelle das Problem der Token-Vorhersage lösen, müssen wir verstehen, was künstliche neuronale Netze (KNN) sind und wie überwachtes Lernen funktioniert. Darum geht es in diesem Video.
Interaktive Visualisierung eines KNN zur Zeichenerkennung
Video 05 : Worteinbettungen
Wenn wir KNNs zur Tokenvorhersage benutzen wollen, müssen wir ein wesentliches Problem lösen: Wie können wir Text in ein KNN einspeisen? Ein wesentlicher Schritt auf dem Weg dorthin sind sogenannte Worteinbettungen, die wir in diesem Video vorstellen.
Beispielprogramm Wort-Navigator
Sätze, anhand derer die Worteinbettung trainiert wurde
Video 06 : Aufmerksamkeit
[VIDEO coming soon]
Jetzt wissen wir, sich einzelne Worte in etwas übersetzen lassen, womit künstliche Neuronale Netze rechnen können. Wie aber lassen sich Wortfolgen verarbeiten? Das gelingt mir dem sogenannten Aufmerksamkeits-Mechanismus, den wir in diesem Video vorstellen. Aufmerksamkeit erlaubt es, bei der Verarbeitung eines Tokens gezielt auf andere Teile der Sequenz zu schauen und so den Kontext zu berücksichtigen.
Video 07 : Praxis : Jupyter Notebooks & Google Colab
[VIDEO coming soon]
In diesem Video wagen wir den Sprung in die Praxis, um eigene Code-Experimente mit vergleichsweise kleinen Sprachmodellen auf eigene Faust zu unternehmen. Das geschieht in der Cloud Computing Umgebung Google Colab. In diesem Video führen wir vor, wie Google Colab funktioniert.
[Link Demo Notebook coming soon]
Video 08 : Praxis : Sequenzen tokenisieren und fortsetzen
[VIDEO coming soon]
Jetzt wird es ernst: Wir schauen uns an, wie verschiedene kleine LLMs Texte in Token zerlegen und fortsetzen. Wir lernen wichtige Parameter der Token-Vorhersage wie Temperatur, Random Seed, Top K und Top p kennen, die normalerweise buchstäblich hinter den Kulissen verborgen sind.
[Link Tokenisierung und Token Vorhersage coming soon]
[Link Texte fortsetzen coming soon]
Notebook Tokenzerlegung und Token-Vorhersage
Video 09 : Praxis : Finetuning
[VIDEO coming soon]
GPT steht für „Generative Pretrained Transformer“ – „pretrained“ – zu deutsch „vortrainiert“ – weist schon darauf hin: Wir haben die Möglichkeit, die Modelle mit eigenen Daten zu trainieren, um sie auf bestimmte Aufgaben zu spezialisieren. Wie das funktioniert, zeigt dieses Video.
[Link Finetuning Englisch coming soon]
[Link Finetuning Deutsch coming soon]
Video 10 : Rückblick und Ausblick
[VIDEO coming soon]
Am Ende des Video-Kurses fassen wir die wichtigsten Erkenntnisse zusammen und skizzieren einige Techniken, die in diesem Kurs keinen Platz gefunden haben: Instruction Finetuning, Bestärkendes Lernen mit menschlichem Feedback und weitere Tricks, die für den Erfolg aktueller LLMs entscheidend sind.
Künstliche Kommunikation ist ein Projekt des Keller Drei e.V. in Kooperation mit dem Stadtteilzentrum Nordstadt e.V., der Zentralen Einrichtung für Weiterbildung der Leibniz Universität Hannover und der Gottfried Wilhelm Leibniz Bibliothek.
Künstliche Kommunikation kann stattfinden dank der Unterstützung durch die ZEIT STIFTUNG BUCERIUS, die Stiftung Niedersachsen, die VHV Stiftung, das Niedersächsische Ministerium für Wissenschaft und Kultur sowie die Landeshauptstadt Hannover. Danke!
