Klausur (mündliche Prüfung bei geringer Teilnehmeranzahl)

Die Rechenkosten des maschinellen Lernens werden fast ausschließlich durch numerische Berechnungen verursacht: Optimierung für das Training und die Anpassung von Punktschätzungen; Integration für die Marginalisierung und Konditionierung in probabilistischen Modellen; Simulation, d.h. die Lösung von Differentialgleichungen für Vorhersagen der Zukunft, und lineare Algebra als Basisfall aller oben genannten Aufgaben. Diese Aufgaben werden oft mit "Black-Box"-Werkzeugen gelöst, aber wer hochleistungsfähige, skalierbare und professionelle Lösungen entwickeln will, muss wissen, wie diese Werkzeuge funktionieren und sie an die jeweilige Aufgabe anpassen. Dieser Kurs stellt grundlegende und fortgeschrittene Werkzeuge für die oben genannten Aufgaben vor. Er entwickelt eine ganzheitliche Sicht der Berechnung im Kontext und innerhalb des konzeptionellen Rahmens des maschinellen Lernens und bewegt sich dabei von klassischen Konzepten bis hin zu aktuellen Entwicklungen. Neben den mathematischen Herleitungen legen die Übungen einen Schwerpunkt auf die praktische Programmierung. Sie enthalten insbesondere Implementierungen einiger Inhalte aus den Vorlesungen.

Die Studierenden entwickeln sowohl ein intuitives als auch ein mathematisches Verständnis für numerische Methoden zur Optimierung, Integration, linearen Algebra und zur Lösung von Differentialgleichungen. Sie wissen, wie man die Werkzeuge an die Herausforderungen der jeweiligen Aufgabe anpasst, wie z. B. hohe Dimensionalität, Stochastizität in der Berechnung, numerische Stabilität, Nicht-Konvexität, effiziente Abstimmung der algorithmischen Parameter und Unschärfekalibrierung für ungenaue Berechnungen. Erfahrung im Entwurf und in der Anwendung numerischer Werkzeuge ist eine in der Industrie sehr gefragte Fähigkeit, die den erfahrenen Ingenieur vom Amateur unterscheidet.

Literature will be listed at the beginning of the semester. / Linear algebra is a core theme. Knowledge of probabilistic machine learning
is valuable for this course. Prior experience with numerical analysis is helpful
but not required. The practical parts use python and various recent python
libraries.