Az egységes számítási modell
The unified computing model
Keywords:
computing model, information storing, computing paradigm, biomorph computing, machine learning, számítási modell, informaáció tárolás, számítási paradigma, biomorph számítás, gépi tanulásAbstract
Although the commonly used classic computing model was a biology-inspired one, von Neumann underlined that his simplified paradigm is based on strong omissions. Those strong simplifications make unsound applying the classic paradigm for both modern electronic technologies and biological computing systems. However, von Neumann did not provide another procedure (without critical omissions) to describe those systems. To describe the operation of those latter systems, a generalization of the computing model is required. The introduced general computing model considers computing as a chain of constrained processes, where the transfer and processing processes are aligned by events. Those events are generated and used in different ways in the different implementations, resulting in different behavior of the computing systems. However, the general principles of computing remain the same. Scrutinizing the general principles of computing reveals not only why various implementations make hard to imitate one implementation with another and why large-scale computing systems show the experienced performance issues, but also reveal the mechanism how biological computing systems can represent, store and process information; furthermore that why learning and machine learning are entirely different.
Kivonat
Bár a jelenleg használt számítási modellünket a biológia inspirálta, Neumann János hangsúlyozta, hogy az általa javasolt klasszikus számítási paradigma erős elhanyagolásokat használt. Ezek az egyszerűsítések értelmetlenné teszik, hogy az egyszerűsített klasszikus paradigmát a modern technológiai rendszerekben megvalósított vagy a biológiai rendszerekben megvalósuló számítások leírására használjuk. Neumann János azonban nem közölt olyan (elhanyagolások nélküli) eljárást, amelyet ilyen rendszerek leírására használhatnánk. Ilyen célra a számítási modell általános tárgyalása szükséges. Ilyen célra a számítási folyamatot adat átviteli és feldolgozási folyamatok megfelelően egymáshoz illesztett láncolataként kezeljük, ahol az illesztést események valósítják meg. Ezeket az eseményeket a különböző módokon megvalósított számítási rendszerek különböző módokon állítják elő. A számítási folyamat általános elvei azonban azonosak maradnak. Az általános számítási elvek figyelmes analízise nem csak azt fedi fel, hogy miért nehéz egyik féle számítási megvalósítást egy másikkal imitálni és miért tapasztaljuk a nagy-skálájú számítási rendszerekben az ismert teljesítőképesség problémákat, hanem megismertet azokkal a mechanizmusokkal is, amelyek használatával a biológia számítási rendszerek ábrázolják, tárolják és feldolgozzák az információt; továbbá, hogy miért alapvetően más a biológiai és a gépi tanulás eszköztára és technikája.
References
Nature 571, S9 (2019): The four biggest challenges in brain simulation.
Buzsáki Gy, The Brain from Inside Out, 2019, Oxford University Press, 2019, 978-0-19-090538-5
J. Végh és Á. J. Berki, Do we know the operating principles of our computers better than those of our brain? CSCI'20 CSCI-ISAI: Artificial Intelligence (2020), pp 668-674, 10.1109/CSCI51800.2020.0012
Végh J.: von Neumann's missing "Second Draft": what it should contain, 2020, Proc. 2020 Internat. Conf. on Computational Science and Computational Intelligence https://american-cse.org/sites/csci2020proc/pdfs/CSCI2020-6SccvdzjqC7bKupZxFmCoA/762400b260/762400b260.pdf
Markov I. L.: Limits on fundamental limits to computation. Nature, 2014, 512(7513), 147-154
Végh J.: Finally, how many efficiencies the supercomputers have? The J. Supercomputing, 2020, 12(76), 9430-9455
Sterling P., Laughlin S.: Principles of Neural Design, 2017, MIT Press, 978-0-262-53468-0
Végh J.: How Amdahl's Law limits performance of large artificial neural networks, Brain Informatics, 2019, 4(6), 1-11.
Hutson M.: Core progress in AI has stalled in some fields, Science, 2020, 6494(368), 927, 10.1126/science.368.6494.927
Végh J.: Which scaling rule applies to Artificial Neural Networks, Neural Computing and Applications, (2021) https://link.springer.com/article/10.1007%2Fs00521-021-06456-y
Végh J., Berki Á.: Storing and processing information in technological and biological computing systems. 2021, Proc. 2021 Intern. Conf. on Computational Science and Computational Intelligence, in print. https://www.researchsquare.com/article/rs-88297/v1
J. Keuper and F-J Pfreundt, Distributed Training of Deep Neural Networks: Theoretical and Practical Limits of Parallel Scalability, 2016, 2nd Workshop on Machine Learning in HPC Environments (MLHPC), 1469 – 1476, 10.1109/MLHPC.2016.006
J. Végh and Á. J. Berki, Why learning and machine learning are different, Advances in Artificial Intelligence and Machine Learning, 1/2, (2021) 9.
