Wer spricht denn da – Chatbot oder Mensch?

Sie beantworten im Kundendienst brennende Fragen, assistieren bei unzähligen Dienstleistungen oder sollen vielleicht einfach nur der Unterhaltung dienen. Als virtuelle Ansprechpartner nehmen sogenannte Chatbots im Alltag immer mehr Raum ein. Wie evaluiert man aber zuverlässig, welcher Chatbot sich im Dialog als menschenähnlicher Gesprächspartner bewährt?

«Die Beurteilung von Gesprächen ist grundsätzlich schwierig – auf der Ebene von Chatbots noch schwieriger», sagt Don Tuggener. Computerlinguistik gehört zu seinen Forschungsgebieten am Institut für angewandte Informationstechnologie (InIT) der ZHAW. «Die Evaluation von Chatbots durch Menschen war bisher nicht nur aufwendig und teuer, sondern auch inkonsistent, weil jeder Mensch eine subjektive Bewertung aufgrund des eigenen Dialogs mit dem Chatbot vornimmt», so Tuggener.

Im Rahmen des übergeordneten EU-Forschungsprojekts LILITH haben die Forschenden am InIT eine neue Grundlage für die Bewertung von Chatbots geschaffen. «Spot The Bot» nennen sie ihr Verfahren, in dem unterschiedliche Chatbots miteinander Dialoge führen. «Wir lassen die Chatbots statt mit Menschen mit anderen Chatbots sprechen», erklärt Jan Deriu, Doktorand am InIT. Die Konversationen entstehen somit automatisch, anstatt dass sie eigens von Personen geführt werden müssen. Danach sichten Menschen die Gesprächsprotokolle und sollen die Bots ausfindig machen.

«Natürlich haben wir unter die reinen Chatbotdialoge auch noch echte Konversationen mit Menschen gemischt», so Deriu. «Und wir lassen die Dialoge abschnittweise beurteilen, denn nach einiger Zeit wird jeder Chatbot enttarnt. Je länger er aber Menschen täuschen kann, desto besser ist der Chatbot.»