Miért ellenkezik a mélytanulás a számítási alapelvekkel?
Why deep learning is against computing principles?
Keywords:
deep learning, accelerating computing, efficiency of computers, principles of computing, sustainable development, /, mélytanulás; számítás gyorsítás; a számítás hatékonysága; számítási alapelvek; fenntartható fejlődés, mélytanulás, számítás gyorsítás, a számítás hatékonysága, számítási alapelvekAbstract
Computers have always aimed to achieve even faster execution, literally at any cost. Computer processors operating on the basis of computational theory have long since reached the maximum speed physically possible, so-called accelerators (such as graphics accelerator cards) partially operate in violation of the theoretical foundations, with very low efficiency. Deep learning has also been in the spotlight in connection with unsustainable energy consumption, artificial intelligence (and Nobel Prizes).
Kivonat
A számítógépek mindig a még gyorsabb végrehajtás elérését vették célba, szó szerint bármi áron. A számításelmélet alapján működő számítógép processzorok már rég elérték a fizikailag lehetséges maximális sebességet, az ún. gyorsítók (például a grafikus gyorsító kártyák) részben már az elméleti alapokat megsértve működnek, nagyon alacsony hatásfokkal. A mélyrétegű tanulás a fenntarthatatlan energia fogyasztásssal, a mesterséges intelligenciával (és a Nobel-díjakkal) kapcsolatban is reflektorfénybe került.
References
Katonai Nemzetbiztonsági Szolgálat: A mesterséges intelligencia és egyéb felforgató technológiák hatásainak átfogó vizsgálata. Budapest, 2023. https://unipub.lib.uni-corvinus.hu/8690/1/MI_2023_konyv.pdf
Sir Lighthill James: Artificial Intelligence: A General Survey, https://www.chilton-computing.org.uk/inf/literature/reports/lighthill_report/p001.htm
Schmidhuber J: https://people.idsia.ch/~juergen/physics-nobel-2024-plagiarism.html
Sterling P, Laughlin S: Principles of Neural Design. The MIT Press, (2017) ISBN 978-0-262-53468-0
Augusto E and Gambino : Can NMDA Spikes Dictate Computations of Local Networks and Behavior? Front. Mol Neurosci. 12/238(2019) https://dx.doi.org/10.3389/fnmol.2019.00238
Végh J.: Which scaling rule applies to Artificial Neural Networks. Neural Computing and Applications 32/1(2021) https://dx.doi.org/10.1007/s00521-021-06456-y
LeCun Y., Bengio, Y. Hinton, G: Deep learning. Nature 521/7553(2015) 436-444. https://dx.doi.org/10.1038/nature14539
Conklin, A. A., Kumar, S.: Solving the big computing problems in the twenty-first century. (2023) https://www.nature.com/articles/s41928-023-00985-1.epdf
Luccioni A. S., Viguier, S., Ligozat A-N: Estimating the Carbon Footprint of BLOOM, a 176B Parameter Language Model. J. Machine Learning Research 24(2023)1-15. https://www.jmlr.org/papers/volume24/23-0069/23-0069.pdf
Hameed, R. et al: Understanding Sources of Inefficiency in General-purpose Chips, Proceedings of the 37th Annual International Symposium on Computer Architecture, Saint-Malo, France (2010) 37-47. 978-1-4503-0053-7 http://doi.acm.org/10.1145/1815961.1815968
Ousterhout John K.: Why Aren't Operating Systems Getting Faster As Fast As Hardware? USENIX Summer Conference (1990) http://www.stanford.edu/~ouster/cgi-bin/papers/osfaster.pdf
