Tényfeltáró szövegek dinamikájának kvantitatív és szemantikai elemzése
Quantitative and semantic analysis of the dynamics of investigative texts
Keywords:
textual dynamics, semantic and qualitative text analysis, Hellinger distance, cosine distance, Euclidean distance, /, szövegdinamika, szövegek szemantikai és kvantitatív elemzése, Hellinger távolság, koszinusz távolság, euklideszi távolságAbstract
Our research aims to quantitatively and semantically analyze the dynamics of several dozen political and military texts from the Central Intelligence Agency (CIA). We characterized the texts and their constituent entities using 17-dimensional feature vectors (FVs) representing the distribution of parts of speech within a given text unit. Word frequencies conformed to Zipf's law, but in the investigative texts examined, the value of the power-law exponent (b ≈ 0.83) deviated from the theoretical value of approximately 1. We divided the texts into 80 entities and calculated the Cosine, Hellinger, and Euclide-an distances between the FVs of individual entities and the text FV-s. We defined text dynamics using metrics for Thematic Cohesion (TC) and Topic Drift (TD), along with their coefficient of variation. Our results indicate that Hellinger distance is the most suitable metric for capturing text dynamics. Based on the calculated thematic cohesion characteristics, cosine distance proved most effective at detecting variations within the text.
Kivonat
Kutatásunk célja a Central Intelligence Agency (CIA) politikai és katonai témájú, több tucat szövege dinamikájának kvantitatív és szemantikai elemzése. A szövegeket és az entitásaikat 17 dimenziós tulaj-donságvektorokkal (FV) írtuk le, amelyek a szófajok megoszlását mérik az adott szövegegységben. A szógyakoriságok a Zipf-törvényhez illeszkedtek, de a vizsgált tényfeltáró szövegekben a hatványkitevő értéke (b ≈ 0,83) eltért az elméleti, közel 1-es értéktől. A szövegeket felosztottuk 80 szövegentitásra, az egyes entitások FV-jei és a teljes szöveg FV-jei között koszinusz, Hellinger, és euklideszi távolságot számoltunk ki. A szövegek dinamikáját a tematikus kohézió (TC), a témaváltás intenzitás (TD) mérőszámokkal és azok variációs együtthatójával definiáltuk. Eredményül azt kaptuk, hogy a Hellinger hasonlóság alkalmas leginkább arra, hogy kifejezze a szövegek dinamikáját. A kiszámított tematikus kohézió jellemzők szerint a koszinusz távolság képes leginkább felismerni a szövegben lévő eltéréseket.
References
[1] Rijsbergen, van C. J.: Information Retrieval. 2nd ed. London: Butterworths, 1979. URL: https://www.dcs.gla.ac.uk/Keith/Preface.html (Utolsó letöltés: 2026-09-15)
[2] Baayen, R. H.: Word Frequency Distribution. Dordrecht: Kluwer Academic Publishers, cop. 2001.
[3] Desagulier, G.: Statistics for text analysis. In: International Encyclopedia of Language and Linguistics, 3rd Edition, Nesi, H., Milin, P. (eds.), vol. 14. Elsevier, 2026.
[4] Gál, Z., Tóth, E.: Deep learning-based analysis of ancient Greek literary texts: A statistical model based on word frequency for the classification of texts. In: Proc. of the 12th IEEE International Conference on Cognitive Infocommunications: CogInfoCom 2021. Ed.: Jan Nikodem, Ryszard Klempous, IEEE-INST Electrical Electronics Engineers INC, Piscataway, 529-535, 2021. ISBN: 9781665424950
[5] Gal Z., Tóth E. Deep Learning-Based Analysis of Ancient Greek Literary Texts in English Version: A Statistical Model Based on Word Frequency and Noise Probability for the Classification of Texts. Infocommunications Journal, Joint Special Issue on Cognitive Infocommunications and Cognitive Aspects of Virtual Reality, 2024, 2–11, https://doi.org/10.36244/ICJ.2024.5.1.
[6] Tóth E., Gál Z. Multilabel clustering analysis of the Croatian-English parallel corpus based on Latent Dirichlet Allocation Algorithm. In: Proc. of the 14th IEEE International Conference on Cognitive Infocommunications: CogInfoCom 2023, Piscataway (NJ): IEEE-INST Inc, 2023, 25–32, ISBN 97983503256
[7] Tóth E., Gal Z. Optimizing Text Clustering Efficiency through Flexible Latent Dirichlet Allocation Method: Exploring the Impact of Data Features and Threshold Modification. Infocommunications Journal, Joint Special Issue on Cognitive Infocommunications and Cognitive Aspects of Virtual Reality, 2024, 58–66, https://doi.org/10.36244/ICJ.2024.5.7
[8] Phelan, J., Rabinovitz, P. J. Narrative as Rethoric. In: Herman, D. et al. (eds.): Narrative Theory: Core Concepts and Critical Debates, Columbus, The Ohio State University, 2012, 3-7.
