![](/images/graphics-bg.png)
Connectionist temporal classification model for dynamic hand gesture recognition using RGB and optical flow data
المؤلفون المشاركون
المصدر
The International Arab Journal of Information Technology
العدد
المجلد 17، العدد 4 (31 يوليو/تموز 2020)، ص ص. 497-506، 10ص.
الناشر
جامعة الزرقاء عمادة البحث العلمي
تاريخ النشر
2020-07-31
دولة النشر
الأردن
عدد الصفحات
10
التخصصات الرئيسية
تكنولوجيا المعلومات وعلم الحاسوب
الملخص EN
Automatic classification of dynamic hand gesture is challenging due to the large diversity in a different class of gesture, Low resolution, and it is performed by finger.
Due to a number of challenges many researchers focus on this area.
Recently deep neural network can be used for implicit feature extraction and Soft Max layer is used for classification.
In this paper, we propose a method based on a two-dimensional convolutional neural network that performs detection and classification of hand gesture simultaneously from multimodal Red, Green, Blue, Depth (RGBD) and Optical flow Data and passes this feature to Long-Short Term Memory (LSTM) recurrent network for frame-to-frame probability generation with Connectionist Temporal Classification (CTC) network for loss calculation.
We have calculated an optical flow from Red, Green, Blue (RGB) data for getting proper motion information present in the video.
CTC model is used to efficiently evaluate all possible alignment of hand gesture via dynamic programming and check consistency via frame-to-frame for the visual similarity of hand gesture in the unsegmented input stream.
CTC network finds the most probable sequence of a frame for a class of gesture.
The frame with the highest probability value is selected from the CTC network by max decoding.
This entire CTC network is trained end-to-end with calculating CTC loss for recognition of the gesture.
We have used challenging Vision for Intelligent Vehicles and Applications (VIVA) dataset for dynamic hand gesture recognition captured with RGB and Depth data.
On this VIVA dataset, our proposed hand gesture recognition technique outperforms competing state-of-the-art algorithms and gets an accuracy of 86%.
نمط استشهاد جمعية علماء النفس الأمريكية (APA)
Patel, Sunil& Makwana, Ramji. 2020. Connectionist temporal classification model for dynamic hand gesture recognition using RGB and optical flow data. The International Arab Journal of Information Technology،Vol. 17, no. 4, pp.497-506.
https://search.emarefa.net/detail/BIM-1430884
نمط استشهاد الجمعية الأمريكية للغات الحديثة (MLA)
Patel, Sunil& Makwana, Ramji. Connectionist temporal classification model for dynamic hand gesture recognition using RGB and optical flow data. The International Arab Journal of Information Technology Vol. 17, no. 4 (Jul. 2020), pp.497-506.
https://search.emarefa.net/detail/BIM-1430884
نمط استشهاد الجمعية الطبية الأمريكية (AMA)
Patel, Sunil& Makwana, Ramji. Connectionist temporal classification model for dynamic hand gesture recognition using RGB and optical flow data. The International Arab Journal of Information Technology. 2020. Vol. 17, no. 4, pp.497-506.
https://search.emarefa.net/detail/BIM-1430884
نوع البيانات
مقالات
لغة النص
الإنجليزية
الملاحظات
Includes bibliographical references : p. 504-505
رقم السجل
BIM-1430884
قاعدة معامل التأثير والاستشهادات المرجعية العربي "ارسيف Arcif"
أضخم قاعدة بيانات عربية للاستشهادات المرجعية للمجلات العلمية المحكمة الصادرة في العالم العربي
![](/images/ebook-kashef.png)
تقوم هذه الخدمة بالتحقق من التشابه أو الانتحال في الأبحاث والمقالات العلمية والأطروحات الجامعية والكتب والأبحاث باللغة العربية، وتحديد درجة التشابه أو أصالة الأعمال البحثية وحماية ملكيتها الفكرية. تعرف اكثر
![](/images/kashef-image.png)