MCI Paper Session 6 – Conversational UIS

Even though conversational user interfaces (CUI) have been studied since the 1950s, it is not yet fully understood what makes them feel natural, intuitive and usable. As a result, their design and evaluation poses major challenges. In this paper, we discuss how CUIs are different from other forms of human computer interaction, and what challenges and opportunities arise from these differences. We provide an overview of relevant linguistic principles for a natural language conversation and look at established high-level usability heuristics to derive a set of 53 technology-agnostic checkpoints specifically for text-based CUIs (a.k.a chatbots). These checkpoints have been evaluated with 15 professionals and academics from the fields of User Experience, Natural Language Processing, Conversation Analysis and linguistics to examine content validity. The resulting list of checkpoints provides both guidelines for the design and criteria for the evaluation of chatbots.

Conversational agents (CAs) such as Siri, Alexa, and Google Assistant are increasingly penetrating everyday life. From a Human¬–Computer Interaction (HCI) perspective, designing CAs that appropriately support the way they are used within daily life is still challenging. While initial design guide¬lines for human–AI interaction exist, we still know little about how users actually perceive CAs within their daily lives and what as¬pects motivate their usage of such tools. Within our research, we therefore conducted an interview study with 29 participants to uncover daily positive and negative experiences with CAs. By revealing how users currently perceive CAs, we identify quality criteria that could inform their future design. By evaluating these criteria with respect to existing research discourses about user experience (UX) guidelines for CAs, we contribute to the field by extending these guidelines from an end-user’s perspective.

Developing successful chatbots is a non-trivial endeavor. In particular, the creation of high-quality natural language responses for chatbots remains a challenging and time-consuming task that often depends on high-quality training data and deep domain knowledge. As a consequence, it is essential to engage experts in the chatbot response development process which have the required domain knowledge. However, current tool support to engage domain experts in the response generation process is limited and often does not go beyond the exchange of decoupled prototypes and spreadsheets. In this paper, we present a system that enables chatbot developers to efficiently engage domain experts in the chatbot response generation process. More specifically, we introduce the underlying architecture of a system that connects to existing chatbots via an API, provides two improvement mechanisms for domain experts to improve chatbot responses during their chatbot interaction, and helps chatbot developers to review the collected response improvements with a sentiment supported review dashboard. Overall, the design of the system and its improvement mechanisms are useful extensions for chatbot development systems in order to support chatbot developers and domain experts to collaboratively enhance the natural language responses of a chatbot.

We present the first systematic analysis of personality dimensions developed specifically to describe the personality of speech-based conversational agents. Following the psycholexical approach from psychology, we first report on a new multimethod approach to collect potentially descriptive adjectives from 1) a free description task in an online survey (228 unique descriptors), 2) an interaction task in the lab (176 unique descriptors), and 3) a text analysis of 30,000 online reviews of conversational agents (Alexa, Google Assistant, Cortana) (383 unique descriptors). We aggregate the results into a set of 349 adjectives, which are then rated by 744 people in an online survey. A factor analysis reveals that the commonly used Big Five model for human personality does not adequately describe agent personality. As an initial step to developing a personality model, we propose alternative dimensions and discuss implications for the design of agent personalities, personality-aware personalisation, and future research.

Speech-based interfaces on mobile phones are growing in popularity, yet mostly limited to helping users retrieve information. There is an untapped potential for using speech to help users contribute new information. This work discusses opportunities and challenges of map editing on mobile devices. It also presents results from a study (N=20) that evaluated 11 speech-based commands for map data enriching and urban fault reporting on mobile devices. Feedback from the users indicated that speech-based information editing is feasible: usability was rated as `good‘, while user experience ratings produced slightly mitigated results.

Diese Studie untersucht die Aneignung und Nutzung von Sprachassistenten wie Google Assistant oder Amazon Alexa in Privathaushalten. Unsere Forschung basiert auf zehn Tiefeninterviews mit Nutzern von Sprachassistenten sowie der Evaluation bestimmter Interaktionen in der Interaktions-historie. Unsere Ergebnisse illustrieren, zu welchen Anlässen Sprachassistenten im heimischen Umfeld genutzt werden, welche Strategien sich die Nutzer in der Interaktion mit Sprachassistenten angeeignet haben, wie die Interaktion abläuft und welche Schwierigkeiten sich bei der Einrichtung und Nutzung des Sprachassistenten ergeben haben. Ein besonderer Fokus der Studie liegt auf Fehlinteraktionen, also Situationen, in denen die Interaktion scheitert oder zu scheitern droht. Unsere Studie zeigt, dass das Nutzungspotenzial der Assistenten häufig nicht ausgeschöpft wird, da die Interaktion in komplexeren Anwendungsfällen häufig misslingt. Die Nutzer verwenden daher den Sprachassistenten eher in einfachen Anwendungsfällen und neue Apps und Anwendungsfälle werden gar nicht erst ausprobiert. Eine Analyse der Aneignungsstrategien, beispielsweise durch eine selbst erstellte Liste mit Befehlen, liefert Erkenntnisse für die Gestaltung von Unterstützungswerkzeugen sowie die Weiterentwicklung und Optimierung von sprachbasierten Mensch-Maschine-Interfaces.

2019 wurde bekannt, dass mehrere Anbieter von Sprachassisten-ten Sprachaufnahmen ihrer NutzerInnen systematisch ausge-wertet haben. Da in den Datenschutzhinweisen angegeben war, dass Daten auch zur Verbesserung des Dienstes genutzt wür-den, war diese Nutzung legal. Für die NutzerInnen stellte diese Auswertung jedoch einen deutlichen Bruch mit ihren Pri-vatheitsvorstellungen dar. Das Zweckbindungsprinzip der DSGVO mit seiner Komponente der Zweckspezifizierung for-dert neben Flexibilität für den Verarbeiter auch Transparenz für den Verbraucher. Vor dem Hintergrund dieses Interessenkon-flikts stellt sich für die HCI die Frage, wie Verarbeitungszwecke von Sprachassistenten gestaltet sein sollten, um beide Anforde-rungen zu erfüllen. Für die Erhebung einer Nutzerperspektive analysiert diese Studie zunächst Zweckangaben in den Daten-schutzhinweisen der dominierenden Sprachassistenten. Darauf aufbauend präsentieren wir Ergebnisse von Fokusgruppen, die sich mit der wahrgenommenen Verarbeitung von Daten von Sprachassistenten aus Nutzersicht befassen. Es zeigt sich, dass bestehende Zweckformulierungen für VerbraucherInnen kaum Transparenz über Folgen der Datenverarbeitung bieten und keine einschränkende Wirkung im Hinblick auf legale Daten-nutzung erzielen. Unsere Ergebnisse über von Nutzern wahr-genommene Risiken erlauben dabei Rückschlüsse auf die an-wenderfreundliche Gestaltung von Verarbeitungszwecken im Sinne einer Design-Ressource.