Deep Neural Networks with Multistate Activation Functions
المؤلفون المشاركون
Cai, Chenghao
Xu, Yanyan
Ke, Dengfeng
Su, Kaile
المصدر
Computational Intelligence and Neuroscience
العدد
المجلد 2015، العدد 2015 (31 ديسمبر/كانون الأول 2015)، ص ص. 1-10، 10ص.
الناشر
Hindawi Publishing Corporation
تاريخ النشر
2015-09-10
دولة النشر
مصر
عدد الصفحات
10
التخصصات الرئيسية
الملخص EN
We propose multistate activation functions (MSAFs) for deep neural networks (DNNs).
These MSAFs are new kinds of activation functions which are capable of representing more than two states, including the N-order MSAFs and the symmetrical MSAF.
DNNs with these MSAFs can be trained via conventional Stochastic Gradient Descent (SGD) as well as mean-normalised SGD.
We also discuss how these MSAFs perform when used to resolve classification problems.
Experimental results on the TIMIT corpus reveal that, on speech recognition tasks, DNNs with MSAFs perform better than the conventional DNNs, getting a relative improvement of 5.60% on phoneme error rates.
Further experiments also reveal that mean-normalised SGD facilitates the training processes of DNNs with MSAFs, especially when being with large training sets.
The models can also be directly trained without pretraining when the training set is sufficiently large, which results in a considerable relative improvement of 5.82% on word error rates.
نمط استشهاد جمعية علماء النفس الأمريكية (APA)
Cai, Chenghao& Xu, Yanyan& Ke, Dengfeng& Su, Kaile. 2015. Deep Neural Networks with Multistate Activation Functions. Computational Intelligence and Neuroscience،Vol. 2015, no. 2015, pp.1-10.
https://search.emarefa.net/detail/BIM-1057744
نمط استشهاد الجمعية الأمريكية للغات الحديثة (MLA)
Cai, Chenghao…[et al.]. Deep Neural Networks with Multistate Activation Functions. Computational Intelligence and Neuroscience No. 2015 (2015), pp.1-10.
https://search.emarefa.net/detail/BIM-1057744
نمط استشهاد الجمعية الطبية الأمريكية (AMA)
Cai, Chenghao& Xu, Yanyan& Ke, Dengfeng& Su, Kaile. Deep Neural Networks with Multistate Activation Functions. Computational Intelligence and Neuroscience. 2015. Vol. 2015, no. 2015, pp.1-10.
https://search.emarefa.net/detail/BIM-1057744
نوع البيانات
مقالات
لغة النص
الإنجليزية
الملاحظات
Includes bibliographical references
رقم السجل
BIM-1057744
قاعدة معامل التأثير والاستشهادات المرجعية العربي "ارسيف Arcif"
أضخم قاعدة بيانات عربية للاستشهادات المرجعية للمجلات العلمية المحكمة الصادرة في العالم العربي
تقوم هذه الخدمة بالتحقق من التشابه أو الانتحال في الأبحاث والمقالات العلمية والأطروحات الجامعية والكتب والأبحاث باللغة العربية، وتحديد درجة التشابه أو أصالة الأعمال البحثية وحماية ملكيتها الفكرية. تعرف اكثر