Frame-basiertes Dialogmanagement VoiceXML: - Zustandsframe wird definiert "Form Interpretation Algorithm" - fixe, regelbasierte Policy zur Wahl was gesagt werden soll: zu erfragende Slots von oben nach unten durchgehen, ersten ungefüllten Slot wählen → zu wählende Aussage → zu wählende Grammatik - regelbasierte Policy, wie Information integriert werden soll: → im Zweifel passend zu dem, was wir gefragt haben. streusel: {sorte={bunt, scho}} S: "Was für Eis möchtest Du?" U: "Schoko mit Streuseln, bitte." NLU: {sorte=scho, streusel=true} Zustand: {sorte=scho, kugeln=?, streusel=true, preis=?} S: "Wieviele Kugeln möchtest Du?" ----- Unsicherheit: S: "Nennen Sie bitte Ihren Abfahrtsort." U: "Hamburg" → Spracherkennungsproblem: Hammerbrook; Bad Homburg; Harburg, Hamburg [{"hammerbrook", Konfidenz: hoch}, {"bad homburg", Konfidenz: niedrig}, {"hamburg", Konfidenz: hoch}] → Semantikproblem: mehrere Hamburgs, Hamburg, USA, mehrere Haltestellen in Hamburg. [{city=hammerbrook, Konfidenz: niedrig}, {city=bad_homburg, Konfidenz: niedrig}, {city=hamburg, Konfidenz: hoch}] → Pragmatikproblem: was war denn gemeint? Widerspruch zwischen unterschiedlichen Modalitäten, Abfahrts-/Zielort? viele Möglichkeiten für das System, eine Antwort zu formulieren: [ **S: "Nennen Sie mir Ihren Zielort." **S: "Hamburg als Abfahrtsort, richtig?" / "Wollen Sie von Hamburg aus fahren?" ***S: "Und wohin wollen Sie von Hamburg+City fahren?" (indirekte Bestätigung) *S: "Ich hab's nicht ganz genau verstanden. Meinten Sie Hamburg, Bad Homburg, oder Hammerbrook?" S: "Ich hab's nicht genau verstanden. Können Sie bitte wiederholen? Nennen Sie mir Ihren Abfahrtsort." ] Maschinelles Lernen: Klassifikation Sequenzlernprobleme ASR: Schallsequenz → HMMs → Wörter (Rückweg: TTS) DM: S1 U1 S2 U2 S3 U3 S4 → reward --------------- Bitte um Klausurfragen: ca. 3-5 Stück, mit benanntem Themengebiet (Semesterwoche) ggfs. mit gewissem Anforderungshorizont Betreff: VL-SDS "Benennen Sie ein Problem bei der Behandlung von Turn-Taking in pipeline-basierten Dialogsystemen." Wieso ist es in Blackboard-basierten Systemen weniger gravierend? → frühere Module können nicht auf folgende Information zugreifen, sodass die ASR Turn-Taking betreiben muss, allerdings nicht syntaktische oder semantische Abgeschlossenheit mitbetrachten kann.