Vorlesung Sprachdialogsysteme (BSc)

• Instructor: Timo Baumann
• Wintersemester 2020/21
• Montag, 16-18 Zoom (Link siehe Stine-Nachrichten)
• Beschreibung in Stine

Die Vorlesung richtet sich an Studierende der Informatik mit einem Interesse für Systeme zur Verarbeitung gesprochensprachlicher Interaktion. Folgende Aspekte von Sprachdialogsystemen werden besonders in den Fokus genommen:

• Unschärfe und Mehrdeutigkeit sprachlichen Wissens
• Komplexitätsmanagement in der Interaktion (und wie dies in einem Dialogsystem durchgeführt werden kann)
• Übersicht über Methoden der Dialogmodellierung

Lernziele

• Sie haben einen Überblick zu Aufgaben, Herausforderungen, Modelierung und Verfahren bei der interaktiven Verarbeitung gesprochener Sprache.
• Sie erlangen Kenntnisse über das komplexe Zusammenspiel der Elemente des linguistischen Systems und entsprechend der Komponenten eines Sprachdialogsystems.
• Sie können Probleme der Sprachverarbeitung einordnen und Lösungsmöglichkeiten innerhalb komplexer Anwendungen diskutieren, sowie analoge Probleme in anderen informatischen Anwendungskontexten erkennen.
• Sie können aktiv bei der Erschließung eines informatischen Lernfeldes mitarbeiten indem Sie Fachtexte lesen und inhaltliche Fragen formulieren, sowie Bezüge herstellen.

Veranstaltungstermine

#	Datum	Thema	Medien	Auftrag zum Selbststudium
1.	2020-11-02	Einführung, Kommunikationssystem	Folien, Notizen, Video
2.	2020-11-09	Dialog	Folien, Notizen	Arbeitsblatt 1 2 3
3.	2020-11-16	Abläufe in Dialogsysteme	Folien, Notizen	Abschnitt 24, 24.1 aus Jurafsky und Martin SLP 3rd ed. draft
4.	2020-11-23	Spracherkennung	Folien, Notizen	Paper zu Token Passing
5.	2020-11-30	Sprachsynthese	Folien, Notizen	Whitepaper zu MaryTTS
6.	2020-12-07	Sprachverstehen I: Grammatiken	Folien, Notizen	Kapitel 8 aus Euler (2006)
7.	2020-12-14	graph-basiertes Dialogmanagement	Folien, Notizen	paper zu FST-basiertem DM
--	Winterpause			DialogOS, DialogIdeen
8.	2021-01-04	situiertes Dialogmanagement	Notizen
9.	2021-01-11	Frames für Sprachverstehen und -generierung	Folien	26.3 und 26.4 aus Jurafsky und Martin SLP 3rd ed. draft
10.	2021-01-18	frame-basiertes Dialogmanagement	Folien, Notizen	Kap. 10 (insb. 10.6) aus: https://link.springer.com/book/10.1007%2F978-3-8348-9113-6 (zugänglich aus dem UHH-Netzwerk)
11.	2021-01-25	statistische Methoden der Dialogmodellierung	Folien, Notizen	Pierre Lison's PhD thesis (insbesondere Kapitel 2 und 3 -- lassen Sie ruhig zu formellastige Abschnitte aus und versuchen dann, wieder reinzukommen)
12.	2020-02-01	konnektionistische Dialogsysteme	Folien, Notizen	pdf Kapitel 1, bei Interesse auch 6
13.	2020-02-08	Inkrementalität und Responsivität	Folien	https://nbn-resolving.de/urn:nbn:de:gbv:18-228-7-1836
14.	2020-02-15	Reprise

genereller Ablauf der Veranstaltungstermine

• Vorbereitung des Themas durch einen Leseauftrag (beachten Sie bitte, dass Sie ohne Vorbereitung wenig oder nichts lernen können)
• Vorstellung der Inhalte (interaktiv, teilweise durch Videos)
• Besprechung der Inhalte in der Großgruppe
• weiterführende Diskussionen in Kleingruppen und Zusammenfassung in Großgruppe
• eigenverantwortliche Nachbereitung der Inhalte in Heimarbeit

erwartete Arbeitsbelastung

• 3 Leistungspunkte → Zeitumfang ~75-90h
• aktive Vorlesungsteilnahme: 14×2h=28h
• Vor- und Nachbereitung der Vorlesungsinhalte (ideal: in Kleingruppen): 14×1h=14h
• Selbststudium, Leseaufträge: 16-24h
  • bitte seien Sie sich bewusst, dass Sie die Klausur vielleicht nicht bestehen, wenn Sie Selbststudium und Leseaufträge ignorieren
  • es ist unrealistisch, in der Prüfungsvorbereitungszeit die regelmäßige Mitarbeit nachzuholen. Dafür fehlt schlicht die Zeit.
• Vorbereitung auf die Klausur: 16-20h
  • in der Klausurphase haben Sie in kurzer Folge viele Klausuren. Sie können also realistisch höchstens 2 volle Tage für SDS investieren (deshalb ist die Mitarbeit schon während des Semesters so wichtig).
• (hoffentlich aktive) Klausurteilnahme: 2-4h

Literatur

Grundlegende Fachliteratur:

• Jokinen, Kristiina and Michael McTear (2009). Spoken Dialogue Systems. Morgan & Claypool Publishers.
• Jurafsky, Daniel and James H. Martin (2009). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition. Pearson International. mehrere Exemplare in der Bibliothek, A JUR 42xxx, ein Präsenzexemplar. Siehe auch hier.
• Pfister, Beat and Tobias Kaufmann (2008). Sprachverarbeitung: Grundlagen und Methoden der Sprachsynthese und Spracherkennung. Springer-Verlag. http://link.springer.com/book/10.1007%2F978-3-540-75910-2 (PDF nur aus UHH-Netz erreichbar).
• Stephen Euler (2006). Grundkurs Spracherkennung: Vom Sprachsignal zum Dialog. vieweg. https://link.springer.com/book/10.1007%2F978-3-8348-9113-6 (PDF nur aus UHH-Netz erreichbar).

Hinweise zur Prüfung

• Klausurtermine im Studienbüro
• voraussichtlich als Online-Prüfung
• (noch unkommentierte) Sammlung möglicher Prüfungsfragen und -themen