Word meaning for open domain dialogue systems

Pintér, Balázs

Word meaning for open domain dialogue systems

Date: 2018

Subject: Műszaki tudományok/Informatikai tudományok
robust and flexible word explanation
word meaning
structured sparse coding
open domain dialogue systems
unintelligible words
Wikipedia
word puzzles
Informatika D. I./Az informatika alapjai és módszerei.
szavak jelentésének reprezentálása
strukturált ritka kódolás
nyílt dialógusrendszerek
ismeretlen szavak meghatározása
Wikipédia
szójátékok

URI: http://hdl.handle.net/10831/41592

Link to Library Catalogue: https://opac.elte.hu/Record/opac-EUL01-964519

MTMT: 30630279

DOI: 10.15476/ELTE.2018.087

Abstract:

A természetes nyelvek gépi feldolgozásának és a mesterséges intelligenciának egyaránt központi célja a párbeszédre képes ágensek kifejlesztése. Ahhoz, hogy egy ilyen ágens megfeleljen a Turing-teszten és intelligensnek nevezhessük, nem lehet témaspeciﬁkus: bármilyen témáról képesnek kell lennie beszélgetni [2]. Emiatt egy, a párbeszédre képes ágenseket támogató, szavak jelentését reprezentáló módszernek a lehető legáltalánosabbnak kell lennie.

Ahhoz, hogy meghatározzuk egy ilyen módszer jellemzőit, a párbeszédben lekötés [1], azaz az egymás megértéséhez szükséges közös fogalmi sík fenntartásának problémája adhat támpontokat. Ha hibák adódnak a lekötésben, a párbeszéd nehezen folytatható, vagy akár teljesen meg is akadhat. Ezeknek a problémáknak az elemzése arra mutat, hogy a módszernek két szempontból kell általánosnak lennie. Egyfelől robusztusnak kell lennie, azaz működnie kell olyan szavakkal is, amiknek ismeretlen vagy hibás az alakja (például ha a beszédfelismerő komponens hibázik egy dialógusrendszerben). Másfelől nyíltnak kell lennie, azaz szinte minden szóhoz jelentésreprezentációt kell tudnia rendelni témakörtől függetlenül. Ezen felül az átláthatóság is fontos szempont: a szavakhoz rendelt reprezentációknak a felhasználók által érthetőnek kell lennie.

Disszertációm első részében egy, a fenti elvek alapján kialakított módszert mutatok be. Mivel a tetszőleges szavak értelmezése a természetes nyelvek gépi feldolgozásának egy megoldatlan alapproblémája, a nyíltság kritériumát gyengítem a rugalmasság kritériumára. Ez azt jelenti, hogy a módszer a szokásos egy fogalomnál rugalmasabb jelentésreprezentációt rendel a szavakhoz, és ismeretlen jelentésű szavakhoz is képes jelentésreprezentációt rendelni kapcsolódó fogalmakat felhasználva. A módszer alkalmazásra került egy webportálon különböző tudományos diszciplínákból érkező felhasználók kommunikációjának segítésére.

A módszer által szavakhoz rendelt jelentésvektorokat egy neurális hálóval hatékonyan közelítem. Ez a fentihez hasonló alkalmazások esetén fontos. Végül bemutatok egy, a szójelentés reprezentáló módszer módosításával kapott módszert ismeretlen alakú szavak meghatározására a kontextusukból.

A második részben a szójelentés reprezentáló módszerek gyakorlati hasznosságát demonstrálom két, a dialógusrendszerekhez szorosan kötődő problémán: szójátékok automatikus generálásán és a következő válasz osztályozásán, ahol a feladat egy párbeszédben a következő helyes válasz meghatározása.

HIVATKOZÁSOK
[1] Herbert H Clark, Susan E Brennan, et al. “Grounding in communication”. In: Perspectives on socially shared cognition 13.1991 (1991), pp. 127– 149.

[2] Alan M Turing. “Computing machinery and intelligence”. In: Mind 59.236 (1950), pp. 433–460.

Abstract:

A central goal of Natural Language Processing (NLP) and of Artiﬁcial Intelligence (AI) in general is the creation of conversational agents. In order for a conversational agent to pass the Turing test and be called intelligent, it has to be open domain: it has to be able to converse about nearly anything [2]. It follows that methods that represent word meaning to support conversational agents should also be as general and comprehensive as possible. A good starting point to determine the desirable characteristics of such a method is grounding in dialogue [1]: maintaining the common ground necessary for mutual understanding between participants. Errors in grounding can make conversation difﬁcult to maintain or can even cause it to completely break down. The analysis of these errors point to three beneﬁcial characteristics for the method, two of which are components of comprehensiveness: the method should be robust to work with corrupted or unintelligible words due to e.g., Automatic Speech Recognition (ASR) errors, and it should be open so it can assign meaning to almost any word regardless the domain. It should also be transparent: the representation it assigns to words should be easy to understand for human users. In the ﬁrst part of the dissertation, I propose a method designed according to these principles. As open word interpretation is a fundamental, unsolved problem of NLP, I relax this condition: the method is ﬂexible in that the meaning representation it assigns towords is more graded than a single sense, and it can assign meaning to words whose meaning is unknown using related concepts. I call the method Robust and Flexible Word Explanation (RFWE). The method has been incorporated into a webportal to help participants from different scientiﬁc disciplines establish common ground and communicate better. I estimate the RFWE interpretation vectors with a fast neural network architecture, which is important for real world applications. Lastly, I introduce a method based on RFWE to determine unintelligible words from their textual contexts, like the words not understood by ASR in a dialogue system. In the second part, I demonstrate the usefulness of word meaning in practice on problems closely connected to dialogue systems: the automatic generation of word puzzles and next utterance classiﬁcation, where the task is determining the correct next response in a conversation. REFERENCES [1] Herbert H Clark, Susan E Brennan, et al. “Grounding in communication”. In: Perspectives on socially shared cognition 13.1991 (1991), pp. 127– 149. [2] Alan M Turing. “Computing machinery and intelligence”. In: Mind 59.236 (1950), pp. 433–460.

Show full item record