Regelmäßige Übungen (mit Lösungen im Anschluss), aber keine kontinuierliche Bewertung.

Eine schriftliche Abschlussprüfung. Die Prüfung findet in geschlossener Form statt, Sie können jedoch ein doppelseitiges A4-Blatt mit Notizen mitnehmen.

Wie der Name schon sagt, handelt es sich um einen Theoriekurs, der im Wesentlichen mathematisch ist, wenn auch stark durch praktische Probleme der Informationsverarbeitung motiviert. Es wird keine Programmieraufgaben geben. Wir werden einige Beweise (in den Vorlesungen) erbringen, insbesondere die Theoreme der Quellen- und Kanalcodierung beweisen. In einigen Übungen und Prüfungsfragen werden Sie (einfache) Beweise erbringen müssen. Sie müssen in der Lage sein, eine Reihe von mathematischen Berechnungen von Hand durchzuführen.

Das allgemeine Ziel des Kurses ist es, die Grundlagen der Informationstheorie zu vermitteln. Konkret bedeutet dies die Theoreme der Quellen- und Kanalcodierung, die beschreiben, wie man Informationen komprimieren und übertragen kann. Wir werden auch einige der Verbindungen zwischen der Informationstheorie und dem maschinellen Lernen kennenlernen. Je nachdem, wie schnell ich arbeiten kann, werden wir uns auch mit der Kolmogorov-Komplexität (Informationstheorie für endliche Folgen) beschäftigen. Sie werden einige praktische Kompressionsverfahren (Huffman- und arithmetische Kodierung) und einfache Blockcodes für die Kanalcodierung kennen lernen. Sie werden einige der Ideen der Bayes'schen Inferenz kennenlernen. Dabei lernen Sie einige der Kernbegriffe der Informationstheorie kennen, darunter die mathematische Definition von Information, die Entropie, die relative Entropie und die asymptotische Äquipartitionseigenschaft, die mit dem Gesetz der großen Zahlen zusammenhängt und mit der wir die wichtigsten Theoreme des Kurses beweisen werden.

Text: David McKay, Information Theory, Inference and learning Algorithms. Freely available online at https://www.inference.org.uk/itprnn/book.pdf --

Pre-requisite : Probability theory – you need to know (elementary) probability theory. By “elementary” I do not mean having only an elementary understanding, but rather the style of probability theory usually learned by engineers – i.e. without the measure-theoretic machinery. If you have passed the course 'INF2021 Stochastik' you should be fine. If you have not done it, but reckon you know the material anyway, I provide a self-administered test to help you judge your degree of preparedness.