Praktische Prüfungsleistung (gemäß § 10 Abs. 6 der Rahmen-Prüfungsordnung 2021): Kleines Forschungsprojekt zu einem selbst gewählten Thema in Zweierteams; Kurzbericht (benotet) und kurze Präsentation (unbenotet).

Large Language Models (LLMs) gehören zu den spannendsten Technologien unserer Zeit. Seit der Veröffentlichung des Artikels „Attention is All You Need“ im Jahr 2017 haben LLMs rasante Fortschritte gemacht, und heute erreicht ChatGPT monatlich Hunderte Millionen Nutzer. Ziel dieser Vorlesung ist es, alle Phasen, die mit der Entwicklung, Bewertung und Bereitstellung eines großen Sprachmodells verbunden sind, im Detail zu beleuchten. Der erste Teil der Vorlesung konzentriert sich auf Architekturkomponenten (Dense- und Mixture-of-Experts-Modelle, verschiedene Varianten der Attention) sowie auf die Durchführung eines effizienten Vortrainings. Dazu gehören Optimierung, die Parallelisierung des Trainings, Skalierungsgesetze und die Datenkuratierung. In der zweiten Hälfte befassen wir uns mit der Bewertung von LLMs, der effizienten Durchführung von Inferenz sowie mit späteren Phasen der Trainingspipeline wie dem Post-Training (mit überwachten und auf Verstärkungslernen basierenden Ansätzen), um das Modellverhalten an menschliche Präferenzen und Aufgaben anzupassen. Ein besonderer Schwerpunkt liegt auf dem prinzipienorientierten Engineering: der Implementierung relevanter Algorithmen und Architekturen von Grund auf, der Konzeption von Skalierungsexperimenten über Daten- und Architekturdimensionen hinweg sowie der Untersuchung von Problemen, die während des Trainings unvermeidlich auftreten (Instabilitäten, suboptimale Hardwareauslastung). Im Rahmen der wöchentlichen Übungen bauen die Studierenden im Laufe des Semesters schrittweise ein LLM-Trainings-Framework nach Produktionsstandard auf.

Es handelt sich um eine Vorlesung für Fortgeschrittene. Studierende, die an dieser Vorlesung teilnehmen möchten, sollten daher die unten aufgeführten Voraussetzungen erfüllen (siehe Feld „Literatur / Sonstiges“).

-

Voraussetzungen:

Prerequisites:
Knowledge in PyTorch, deep learning and a solid understanding of mathematics are expected (e.g., by taking the lectures ML4103 "Deep Learning" and ML4101 "Mathematics and Machine Learning").