Általános célú természetes nyelvi elemzőprogramok létrehozásának tapasztalatai

Experiences with creating natural language parsers

Abstract

The immediate target of general-purpose natural language parsers is not to answer some question referring to a narrow and fixed topic, but to perform general purpose parses, to produce appropriate parse trees, which are transformed later to an evaluable logical query language. In the background there is an ontology, which is basically a collection of logical knowledge with the definition of common and specific concepts. This requirement demands the runtime configurability of the logical and the lingual information (that is vocabulary), also dynamically, in runtime. On the other hand, testing the parser requires a special set of lingual „benchmark” sentences. Testing also requires the evaluation of the efficiency of parsers, and the availability of appropriate measurement procedures. The article discusses these experiences, having gained by solving these problems in the production of three natural language parsers (American Sign Language, English, German).

Kivonat

Az általános célú elemzőprogramok célja nem valamilyen rögzített témájú közlés megértése és megválaszolása, hanem általános témájú nyelvi elemzés végzése, majd elemzési fa létrehozása, amelyet egy másik programmodul alakít át valamilyen kiértékelhető logikai lekérdezőnyelvvé. A kiértékelés hátterében egy ontológia áll, ami egy logikai tudásállomány, általános és a témába vágó fogalmak definíciójával. Mindez egyrészt a logikai és nyelvi tudásállomány (lexikon, szótár) konfigurálhatóságát követeli meg, lehetőleg futásidejű, dinamikus szinten is. Másrészt az elemzőprogram tesztelése speciális nyelvi „benchmark” mondatkészlet, a kiértékelése pedig megfelelő hatékonyságmérő eljárások létrehozását követeli meg. A cikk ezekről a problémákról ír három természetes nyelvű elemző (amerikai jelnyelv, angol, német) megírásának tapasztalataira építve.