Alacsony paraméterszámú nyelvi modellek hatékony finomhangolása osztályozási feladatra

Efficient fine-tuning evaluation of low-parameter number language models for classification tasks

Abstract

Language models have opened up a new era in artificial intelligence, with initial recurrent neural networks capable of generating even longer continuous texts, but the biggest breakthrough was the transformers architectures, which outperformed previous solutions. A major use of language models is in classification tasks, where the models classify a sentence or sequence into groups according to various criteria based on its content. An advantage of language models using a transformer architecture is that it is possible to activate and deactivate the weights of each layer of the network and their respective optimizations. The aim of my research is to determine to what degree the classification ability of the selected model is reduced when the different layers of the model are activated or deactivated (hereafter referred to as frozen). The analyzed dataset is classifying the given text into 6 different groups. The training is evaluated by testing the training accuracy and error, and then the trained models are evaluated by calculating the area under the Receiver Operating Curve (ROC). Using the results, we can evaluate how freezing configurations change the classification capabilities of the model, how well they meet the requirements of the intended usecase. Such classification algorithms can be used in the engineering field, for example, to aid quality control, where composition can be used to infer the quality properties of a product, or to classify materials in a recycling environment, based only on the names of the components.

Kivonat

A nyelvi modellek új korszakot nyitottak a mesterséges intelligenciában, a kezdetleges rekurrens neurálishálók már akár hosszabb egybefüggő szövegeket is képesek voltak generálni, azonban a legnagyobb áttörést a transformer architektúrák jelentették, amelyek felülmúlták az előző megoldásokat. A nyelvi modellek egyik jelentős felhasználási területe az osztályozási feladatok, amelyek során a modellek különböző szempontok szerint egy-egy mondatot vagy szekvenciát sorolnak csoportba azok tartalma alapján. A transformer architektúrát alkalmazó nyelvi modellek egyik előnye, hogy lehetséges a háló egyes rétegeinek súlyait, illetve azok optimalizálását aktiválni és deaktiválni. Kutatásom célja meghatározni, milyen mértékben csökken a kiválasztott modell osztályozási képessége a modell különböző rétegeinek aktiválása vagy deaktiválása (továbbiakban fagyasztása) esetén. A vizsgált adathalmaz hat különböző csoportba osztva osztályozza az adott szöveget. A tanítás kiértékelését a tanítási pontosság és hiba vizsgálatával, majd a betanított modelleket a Receiver Operating Curve (ROC) alatti terület számításával végeztük. Az eredmények felhasználásával következtetéseket tehetünk, hogy milyen fagyasztási konfigurációk hogyan változtatják a modell osztályozási képességeit, azok mennyire felelnek meg a felhasználói elvárásoknak. Az ilyen osztályozó algoritmusok a műszaki területen például minőségellenőrzést segíthetik, ahol összetétel alapján lehet következtetni a termék minőségi tulajdonságaira, vagy az újrahasznosításra szánt termékeket elnevezésük alapján képes anyagcsoportba osztani.