Ipari szenzoradatok elemzése statisztikai és regressziós módszerekkel

Analysis of industrial sensor data using statistical and regression methods

Abstract

Industry players must devote significant attention and resources to real-time data processing to timely extract vital information from available datasets. This includes identifying outlier data, filtering fake information, and enabling predictive maintenance through forecasting analysis. This complex analysis process requires the use of various algorithms that support the listed objectives and offer a broad range of solutions. In this study, we describe the application of Apache Spark's integrated system for the statistical analysis of time series data, which significantly accelerates industrial data analysis. Additionally, we present the linear and Random Forest regression models and their achieved results.

Kivonat

Az ipar szereplőinek kiemelt figyelmet és erőforrásokat kell szentelniük az adatok valós idejű feldolgozására, hogy képesek legyenek létfontosságú információkat kinyerni a rendelkezésre álló adathalmazokból. Ez magában foglalja a kiugró értékek azonosítását, a hibás információk szűrését, és az előrejelző analízis segítségével a prediktív karbantartás lehetőségét. E komplex elemzési folyamat során szükségessé válik különböző algoritmusok alkalmazása, melyek a felsorolt célokat támogatják, és széleskörű megoldásokat kínálnak. A dolgozatban ismertetjük az Apache Spark rendszer alkalmazását idősoros adatok statisztikai elemzésére, amely felgyorsítja az ipari adatelemzési eljárásokat és bemutatjuk a lineáris és a Random Forest regressziós modelleket és az adatfeldolgozások eredményeit.