Szakértői tudásbázis validálás a HFRIQ-learning rendszerben
Expert knowledge base validation in the HFRIQ-learning
Kulcsszavak:
reinforcement learning, expert knowledge injection, knowledge base validation, fuzzy knowledge, Q-learning, fuzzy rule interpolation, /, megerősítéses tanulás, szakértői tudásbázis injektálás, tudásbázis validálás, fuzzy tudásbázis, Q-tanulás, fuzzy szabályinterpolációAbsztrakt
The HFRIQ-learning is a reinforcement learning method that starts with a non-empty knowledge defined by expert heuristics. The expert defined a priori rules can be imprecise or inconsistent, but the system automatically optimizes them during learning. The final knowledge base after the learning can differ from the initial expert-defined one, therefore validating the initial expert heuristics is crucial the applicability of the learned model. The paper introduces a method for comparing the expert knowledge base before and after learning, thereby enabling the evaluation of the correctness of the initial expert heuristics through the proposed validation approach.
Kivonat
A HFRIQ-learning egy megerősítéses tanulási módszer, amely tudásbázisa a tanulási folyamat kezdetén nem üres, hanem emberi szakértő által megadott fuzzy szabályokat tartalmaz. A módszer képes a pontatlan vagy nem teljesen konzisztens szakértői szabályokat automatikusan finomítani, bővíteni és optimalizálni. A tanulási folyamat végére kialakult tudásbázis eltérhet az eredetileg megadottól, ezért kulcsfontosságú a kezdeti szakértői heurisztika validálása. A cikk célja egy olyan módszer bemutatása, amely által a kezdeti szakértői heurisztika és a tanulási folyamat végeztével előállt tudásbázis összehasonlítható, validálható, azaz annak helyességére vonatkozó következtetések levonhatók.
Hivatkozások
Appl, M.: Model-based Reinforcement Learning in Continuous Environments. Ph.D. thesis, Technical Univer-sity of München, München, Germany, dissertation.de, Verlag im Internet (2000)
Chollet, F., Knoop, M., Kamradt, G., Landers, B., & Pinkard, H. (2025). Arc-agi-2: A new challenge for frontier ai reasoning systems. arXiv preprint arXiv:2505.11831.
Chollet, François. "On the measure of intelligence." arXiv preprint arXiv:1911.01547 (2019).
Gao, X., Si, J., & Huang, H. (2023). Reinforcement learning control with knowledge shaping. IEEE Transac-tions on Neural Networks and Learning Systems, 35(3), 3156-3167.
Kovács, Sz., Kóczy, L. T.: The use of the concept of vague environment in approximate fuzzy reasoning. Fuzzy Set Theory and Applications, Tatra Mountains Mathematical Publications, Mathematical Institute Slo-vak Academy of Sciences, Bratislava, Slovak Republic, vol.12, 1997, pp. 169-181.
Kovács, Szilveszter. "Extending the fuzzy rule interpolation" five" by fuzzy observation." Computational In-telligence, Theory and Applications: International Conference 9th Fuzzy Days in Dortmund, Germany, Sept. 18–20, 2006 Proceedings. Berlin, Heidelberg: Springer Berlin Heidelberg, 2006.
Li, W., Zhang, W., Zhang, Q., Zhang, X., & Wang, X. (2024). Weakly-supervised causal discovery based on fuzzy knowledge and complex data complementarity. IEEE Transactions on Fuzzy Systems.
Lilly, J. H. (2011). Fuzzy control and identification. John Wiley & Sons.
Sutton, R. S., Barto, A. G.: Reinforcement Learning: An Introduction, MIT Press, Cambridge (1998)
Tompa, Tamás, and Szilveszter Kovács. "Applying Expert Heuristic as an a Priori Knowledge for FRIQ-Learning." Acta Polytechnica Hungarica 17.4 (2020).
Tompa, Tamás, and Szilveszter Kovács. "Determining the minimally allowed rule-distance for the incre-mental rule-base contruction phase of the FRIQ-learning." 2018 19th International Carpathian Control Con-ference (ICCC). IEEE, 2018.
Tompa, Tamás, and Szilveszter Kovács. "Heuristically accelerated FRIQ-learning." 20th Jubilee International Symposium on Intelligent Systems and Informatics (SISY 2022). IEEE, 2022.
Tompa, Tamás, and Szilveszter Kovács. "Knowledge Base Optimization of the HFRIQ-Learning." Acta Poly-technica Hungarica 21.10 (2024).
Vincze, Dávid, and Szilveszter Kovács. "Fuzzy rule interpolation-based Q-learning." 2009 5th International Symposium on Applied Computational Intelligence and Informatics. IEEE, 2009
Vincze, Dávid, and Szilveszter Kovács. "Rule-base reduction in Fuzzy Rule Interpolation-based Q-learning." Recent Innovations in Mechatronics 2.1-2. (2015): 1-6.
Vincze, Dávid.: "Fuzzy Rule Interpolation-based Q-learning." PhD dissertation, 2013.
Wang, G., Li, J., Sun, Y., Chen, X., Liu, C., Wu, Y., ... & Yadkori, Y. A. (2025). Hierarchical Reasoning Model. arXiv preprint arXiv:2506.21734.
Watkins, C. J. C. H.: Learning from Delayed Rewards. Ph.D. thesis, Cambridge University, Cambridge, Eng-land (1989)
