Distributed Nonparametric and Semiparametric Regression on SPARK for Big Data Forecasting
المؤلفون المشاركون
Fiosina, Jelena
Fiosins, Maksims
المصدر
Applied Computational Intelligence and Soft Computing
العدد
المجلد 2017، العدد 2017 (31 ديسمبر/كانون الأول 2017)، ص ص. 1-13، 13ص.
الناشر
Hindawi Publishing Corporation
تاريخ النشر
2017-03-08
دولة النشر
مصر
عدد الصفحات
13
التخصصات الرئيسية
تكنولوجيا المعلومات وعلم الحاسوب
الملخص EN
Forecasting in big datasets is a common but complicated task, which cannot be executed using the well-known parametric linear regression.
However, nonparametric and semiparametric methods, which enable forecasting by building nonlinear data models, are computationally intensive and lack sufficient scalability to cope with big datasets to extract successful results in a reasonable time.
We present distributed parallel versions of some nonparametric and semiparametric regression models.
We used MapReduce paradigm and describe the algorithms in terms of SPARK data structures to parallelize the calculations.
The forecasting accuracy of the proposed algorithms is compared with the linear regression model, which is the only forecasting model currently having parallel distributed realization within the SPARK framework to address big data problems.
The advantages of the parallelization of the algorithm are also provided.
We validate our models conducting various numerical experiments: evaluating the goodness of fit, analyzing how increasing dataset size influences time consumption, and analyzing time consumption by varying the degree of parallelism (number of workers) in the distributed realization.
نمط استشهاد جمعية علماء النفس الأمريكية (APA)
Fiosina, Jelena& Fiosins, Maksims. 2017. Distributed Nonparametric and Semiparametric Regression on SPARK for Big Data Forecasting. Applied Computational Intelligence and Soft Computing،Vol. 2017, no. 2017, pp.1-13.
https://search.emarefa.net/detail/BIM-1121434
نمط استشهاد الجمعية الأمريكية للغات الحديثة (MLA)
Fiosina, Jelena& Fiosins, Maksims. Distributed Nonparametric and Semiparametric Regression on SPARK for Big Data Forecasting. Applied Computational Intelligence and Soft Computing No. 2017 (2017), pp.1-13.
https://search.emarefa.net/detail/BIM-1121434
نمط استشهاد الجمعية الطبية الأمريكية (AMA)
Fiosina, Jelena& Fiosins, Maksims. Distributed Nonparametric and Semiparametric Regression on SPARK for Big Data Forecasting. Applied Computational Intelligence and Soft Computing. 2017. Vol. 2017, no. 2017, pp.1-13.
https://search.emarefa.net/detail/BIM-1121434
نوع البيانات
مقالات
لغة النص
الإنجليزية
الملاحظات
Includes bibliographical references
رقم السجل
BIM-1121434
قاعدة معامل التأثير والاستشهادات المرجعية العربي "ارسيف Arcif"
أضخم قاعدة بيانات عربية للاستشهادات المرجعية للمجلات العلمية المحكمة الصادرة في العالم العربي
تقوم هذه الخدمة بالتحقق من التشابه أو الانتحال في الأبحاث والمقالات العلمية والأطروحات الجامعية والكتب والأبحاث باللغة العربية، وتحديد درجة التشابه أو أصالة الأعمال البحثية وحماية ملكيتها الفكرية. تعرف اكثر