Querschnittsthemen

Evaluation von SDS
Anwendungen für SDS
Mehrsprachigkeit in SDS
mehrere Personen in SDS

Caspar Volquardsen
Lyran Dasz


######### Evaluation von SDS #########

System als Ganzes betrachten oder die Komponenten einzeln?

Sinnvoll auch die einzelnen Teile zu testen, was wohl auch einfacher sein dürfte.

Auf der anderen Seite muss auch das Zusammenspiel der Komponenten untereinander sinnvoll gelingen, und getestet werden.


"nicht maschinell testbare" Komponenten.
Wie soll ein Computersystem beurteilen, wie "natürlich" eine Sprachsynthese klingt?
Und der gesamte Dialogablauf selbst kann sich auch natürlich und fließend anfühlen, aber genau so gut auch total hölzern und stockend wirken- was ebenfalls schwer von einer gefühlslosen Maschine bewertet werden kann.

Datenbank für Testdaten wie aufgenommenen Spracheinheiten, mit denen dann automatisiert getestet werden könnte.
Datenpaare müssen manuell von Menschenhand erzeugt werden, bevor überhaupt automatisiert getestet werden kann.
Problem: Große und qualitative Datenmengen zusammentragen (Kosten, Zeit, Aufwand).



Evaluation subjektiv: Nicht jeder hat die gleichen Vorlieben.
=> Was ist "das beste" Dialogsystem?
	=> Von Fall zu Fall unterschiedliche Schwerpunkte.

Dialoge und ihr Ablauf können sehr individuell sein und oft ist nicht so leicht ersichtlich, ob ein "anders als erwarteter" Dialogablauf nun wirklich schlechter bzw. falsch ist, oder weiterhin als gut aufgefasst werden kann.

Im Allgemeinen dürften Systemreaktionen von Menschen besser einschätzbar sein und bei der Fehlersuche schneller zur Ursache gefunden werden.


+++++++++ Evaluation und Mehrsprachigkeit: +++++++++ 
Mit der Mehrsprachigkeit geht oft auch eine "Multikulturalität" einher, welche die Bewertung des Systems wieder völlig über den Haufen werfen kann. (Bsp.: Die Ansprache einer Person im Japanischen vs. im Englischen)

(Mindestens) eine Datenbank pro Sprache fürs Testen benötigt.


+++++++++ Evaluation und mehrere Personen: +++++++++ 
Siri, welche die Stimme meiner Freundin erkennt, aber mich gnadenlos mobbt! (true story!)
Aber wenn ich während einer Eingabe einzelne Worte einwerfe, dann erkennt Siri die und übernimmt sie in die Eingabe.
=> Falls eine "Besitzererkennung" stattfindet, wird sie wohl nur zu Beginn der Eingabe durchgeführt

Ausblick in die Zukunft: Wird es einen sinnvollen Mehrbenutzerbetrieb (z.B. mit Siri) geben?

+++++++++ Evaluation und Anwendungen: +++++++++