Miért ellenzi Neumann János a gépi tanulás gyorsítását?
Why does von Neumann oppose speeding up machine learning?
Keywords:
brain operation, computer operation, data-controlled operation, instruction-controlled operation, accelerating computing, /, agy működés, számítógép működés, adat-vezérelt működés, utasítás-vezérelt működés, számítás gyorsításAbstract
Von Neumann wanted to provide a „fast” and error-free way of solving numerical problems and the operation of the brain inspired his famous paradigm. One of his great ideas was to store the computer’s knowledge in the memory of the computer. How became the data-controlled analog brain the model of the instruction-controlled digital computer? Why loading a ready-made program into its memory is the only way to teach the computer? Why is the software-implemented training by machine learning so painfully slow?
Kivonat
Neumann János numerikus problémák „gyors” megoldására keresett megoldást és nevezetes számítási paradigmáját az agy működése ihlette. Az ő egyik nagy ötlete volt a számítógép tudásának tárolása a memóriában. De hogyan lett az adat-vezérelt analóg működésű biológiai agy az utasítás-vezérelt digitális elektronikus számítógép processzor modellje? Miért csak úgy tanítható a számítógép, hogy beletöltjük a kész tudnivalót? Miért olyan kínosan lassú a gépi tanulás alapú betanítás?
References
Végh J.: Revising the Classic Computing Paradigm and Its Technological Implementations,
Informatics, 4/8(2021)171. doi = 10.3390/informatics8040071. https://www.mdpi.com/2227-9709/8/4/71
Végh J, Berki Á. J. On the Role of Speed in Technological and Biological Information Transfer for Computations, Acta Biotheoretica 70/4(2022) 26,doi = 10.1007/s10441-022-09450-6
Yann LeCun, Yoshua Bengio, and Geoffrey Hinton. Deep learning. Nature, 521:436-444, 2015.
A. Mehonic and A.J. Kenyon. Brain-inspired computing needs a master plan. Nature, 604:255-260, 2022.
AI-power-consumption-exploding, 2022. https://semiengineering.com/ai-power-consumption-exploding
In AI, is bigger always better? Nature 615(2023) 202 https://www.nature.com/articles/d41586-023-00641-w
Luccioni A. S., Viguier S. Anne-Laure Ligozat A-L, Estimating the Carbon Footprint of BLOOM, a 176B Parameter Language Model, 2022, https://arxiv.org/pdf/2211.02001.pdf
Macedo Mourelle L., Nedjah N, and Pessanha F. G. Reconfigurable and Adaptive Computing: Theory and Applications, chapter 5: Interprocess Communication via Crossbar for Shared Memory Systems-on-chip. CRC press, 2016.
