Kernel Recursive Least-Squares Temporal Difference Algorithms with Sparsification and Regularization
المؤلفون المشاركون
Zhang, Chunyuan
Niu, Xinzheng
Zhu, Qingxin
المصدر
Computational Intelligence and Neuroscience
العدد
المجلد 2016، العدد 2016 (31 ديسمبر/كانون الأول 2015)، ص ص. 1-11، 11ص.
الناشر
Hindawi Publishing Corporation
تاريخ النشر
2016-06-29
دولة النشر
مصر
عدد الصفحات
11
التخصصات الرئيسية
الملخص EN
By combining with sparse kernel methods, least-squares temporal difference (LSTD) algorithms can construct the feature dictionary automatically and obtain a better generalization ability.
However, the previous kernel-based LSTD algorithms do not consider regularization and their sparsification processes are batch or offline, which hinder their widespread applications in online learning problems.
In this paper, we combine the following five techniques and propose two novel kernel recursive LSTD algorithms: (i) online sparsification, which can cope with unknown state regions and be used for online learning, (ii) L2 and L1 regularization, which can avoid overfitting and eliminate the influence of noise, (iii) recursive least squares, which can eliminate matrix-inversion operations and reduce computational complexity, (iv) a sliding-window approach, which can avoid caching all history samples and reduce the computational cost, and (v) the fixed-point subiteration and online pruning, which can make L1 regularization easy to implement.
Finally, simulation results on two 50-state chain problems demonstrate the effectiveness of our algorithms.
نمط استشهاد جمعية علماء النفس الأمريكية (APA)
Zhang, Chunyuan& Zhu, Qingxin& Niu, Xinzheng. 2016. Kernel Recursive Least-Squares Temporal Difference Algorithms with Sparsification and Regularization. Computational Intelligence and Neuroscience،Vol. 2016, no. 2016, pp.1-11.
https://search.emarefa.net/detail/BIM-1099597
نمط استشهاد الجمعية الأمريكية للغات الحديثة (MLA)
Zhang, Chunyuan…[et al.]. Kernel Recursive Least-Squares Temporal Difference Algorithms with Sparsification and Regularization. Computational Intelligence and Neuroscience Vol. 2016, no. 2016 (2015), pp.1-11.
https://search.emarefa.net/detail/BIM-1099597
نمط استشهاد الجمعية الطبية الأمريكية (AMA)
Zhang, Chunyuan& Zhu, Qingxin& Niu, Xinzheng. Kernel Recursive Least-Squares Temporal Difference Algorithms with Sparsification and Regularization. Computational Intelligence and Neuroscience. 2016. Vol. 2016, no. 2016, pp.1-11.
https://search.emarefa.net/detail/BIM-1099597
نوع البيانات
مقالات
لغة النص
الإنجليزية
الملاحظات
Includes bibliographical references
رقم السجل
BIM-1099597
قاعدة معامل التأثير والاستشهادات المرجعية العربي "ارسيف Arcif"
أضخم قاعدة بيانات عربية للاستشهادات المرجعية للمجلات العلمية المحكمة الصادرة في العالم العربي
تقوم هذه الخدمة بالتحقق من التشابه أو الانتحال في الأبحاث والمقالات العلمية والأطروحات الجامعية والكتب والأبحاث باللغة العربية، وتحديد درجة التشابه أو أصالة الأعمال البحثية وحماية ملكيتها الفكرية. تعرف اكثر