Általános célú természetes nyelvi elemzőprogramok létrehozásának tapasztalatai

Experiences with creating natural language parsers

Szerzők

  • KILIÁN Imre

Kulcsszavak:

logikai programozás, természetes nyelvek feldolgozása, tudásábrázolás, ontológia

Absztrakt

The immediate target of general-purpose natural language parsers is not to answer some question referring to a narrow and fixed topic, but to perform general purpose parses, to produce appropriate parse trees, which are transformed later to an evaluable logical query language. In the background there is an ontology, which is basically a collection of logical knowledge with the definition of common and specific concepts. This requirement demands the runtime configurability of the logical and the lingual information (that is vocabulary), also dynamically, in runtime. On the other hand, testing the parser requires a special set of lingual „benchmark” sentences. Testing also requires the evaluation of the efficiency of parsers, and the availability of appropriate measurement procedures. The article discusses these experiences, having gained by solving these problems in the production of three natural language parsers (American Sign Language, English, German).

Kivonat

Az általános célú elemzőprogramok célja nem valamilyen rögzített témájú közlés megértése és megválaszolása, hanem általános témájú nyelvi elemzés végzése, majd elemzési fa létrehozása, amelyet egy másik programmodul alakít át valamilyen kiértékelhető logikai lekérdezőnyelvvé. A kiértékelés hátterében egy ontológia áll, ami egy logikai tudásállomány, általános és a témába vágó fogalmak definíciójával. Mindez egyrészt a logikai és nyelvi tudásállomány (lexikon, szótár) konfigurálhatóságát követeli meg, lehetőleg futásidejű, dinamikus szinten is. Másrészt az elemzőprogram tesztelése speciális nyelvi „benchmark” mondatkészlet, a kiértékelése pedig megfelelő hatékonyságmérő eljárások létrehozását követeli meg. A cikk ezekről a problémákról ír három természetes nyelvű elemző (amerikai jelnyelv, angol, német) megírásának tapasztalataira építve.

Hivatkozások

Kilián, I.: Szabályvezérelt természetes nyelvi elemzők természetrajzáról Erdélyi Magyar Műszaki Tudományos Társaság, SzámOkt 2017. konferencia kiadványa, Kolozsvár, pp. 159–167, 2017.

Kilián I.: Csevegőrobotok. Az ITSy-Bitsy modell. Erdélyi Magyar Műszaki Tudományos Társaság, SzámOkt 2020. konferencia kiadványa, Kolozsvár, pp. 110–117, 2020.

Oktatási Hivatal, Nyelvvizsgáztatási Akkreditációs Osztály: Közös Európai Referenciakeret. Budapest, 2002 (https://nyak.oh.gov.hu/nyat/doc/ker_2002.asp, elérés 2021.szept.13.)

Alberti, G. 2009. eALIS: An Interpretation System which is Reciprocal and Lifelong. Workshop ‘Focus on Discourse and Context-Dependence’ (16.09.2009, 13.30-14.30 UvA, Amsterdam Center for Language and Comm.),

Kilián, I.: eALIS: egy többszereplős, episztemikus rendszer Prolog modellje Erdélyi Magyar Műszaki Tudományos Társaság, SzámOkt 2012. konferencia kiadványa, Kolozsvár, pp. 276–281, 2012

J. Wielemaker: An overview of the SWI-Prolog programming environment, Proc. 13-th International Workshop on Logic Programming Environments, pp.1-16. ed: F. Mesnard, A. Serebenik, Katholieke Universiteit, Leuven, Belgium, 2003.

Papineni, K.; Roukos, S.; Ward, T.; Zhu, W. J. (2002). BLEU: a method for automatic evaluation of machine translation. ACL-2002: 40th Annual meeting of the Association for Computational Linguistics. pp. 311–318. 2002.

##submission.downloads##

Megjelent

2021-10-11