Projekt und Klausur

In dieser Veranstaltung erhalten Studierende eine umfassende Einführung in die Sicherheit und Zuverlässigkeit moderner KI-Systeme, wobei der Fokus auf Large Language-Modellen (LLMs) und KI-Agenten liegt. Die Studierenden werden technische Verwundbarkeiten wie die Robustheit gegenüber Angriffen, Jailbreaks, Prompt-Injektionen und Halluzinationen kennenlernen und gleichzeitig Ansätze erproben, mit denen diese Fehler entdeckt und verhindert werden können. Die Vorlesung deckt Herausforderungen bei der Ausrichtung, wie z. B. auftretende Fehlausrichtungen, skalierbare Überwachung und KI-Steuerungsmethoden für die Verwaltung immer leistungsfähigerer Systeme ab.

Die Studierenden erwerben praktische Erfahrung in Interpetationstechniken und Evalutionsmethoden sowie in Tools zur Generierung von Wasserzeichen, Entdeckung von KI-generierten Inhalten und sie erwerben ein Verständnis für die Urheberrechts-Implikationen, die mit LLMs verbunden sind. Am Ende der Veranstaltung verstehen die Studierenden sowohl die theoretischen Grundlagen als auch praktische Aspekte der Generierung sicherer KI-Systeme, inklusive Methoden zur Vorhersage von Fähigkeiten generativer KI.

Prerequisites: Prior coursework in deep learning, statistical machine learning, or LLMs.