Multimodal Fusion Method Based on Self-Attention Mechanism
المؤلفون المشاركون
Zhu, Hu
Wang, Ze
Hua, Yingying
Xu, Guoxia
Deng, Lizhen
Shi, Yu
المصدر
Wireless Communications and Mobile Computing
العدد
المجلد 2020، العدد 2020 (31 ديسمبر/كانون الأول 2020)، ص ص. 1-8، 8ص.
الناشر
Hindawi Publishing Corporation
تاريخ النشر
2020-09-23
دولة النشر
مصر
عدد الصفحات
8
التخصصات الرئيسية
تكنولوجيا المعلومات وعلم الحاسوب
الملخص EN
Multimodal fusion is one of the popular research directions of multimodal research, and it is also an emerging research field of artificial intelligence.
Multimodal fusion is aimed at taking advantage of the complementarity of heterogeneous data and providing reliable classification for the model.
Multimodal data fusion is to transform data from multiple single-mode representations to a compact multimodal representation.
In previous multimodal data fusion studies, most of the research in this field used multimodal representations of tensors.
As the input is converted into a tensor, the dimensions and computational complexity increase exponentially.
In this paper, we propose a low-rank tensor multimodal fusion method with an attention mechanism, which improves efficiency and reduces computational complexity.
We evaluate our model through three multimodal fusion tasks, which are based on a public data set: CMU-MOSI, IEMOCAP, and POM.
Our model achieves a good performance while flexibly capturing the global and local connections.
Compared with other multimodal fusions represented by tensors, experiments show that our model can achieve better results steadily under a series of attention mechanisms.
نمط استشهاد جمعية علماء النفس الأمريكية (APA)
Zhu, Hu& Wang, Ze& Shi, Yu& Hua, Yingying& Xu, Guoxia& Deng, Lizhen. 2020. Multimodal Fusion Method Based on Self-Attention Mechanism. Wireless Communications and Mobile Computing،Vol. 2020, no. 2020, pp.1-8.
https://search.emarefa.net/detail/BIM-1214697
نمط استشهاد الجمعية الأمريكية للغات الحديثة (MLA)
Zhu, Hu…[et al.]. Multimodal Fusion Method Based on Self-Attention Mechanism. Wireless Communications and Mobile Computing No. 2020 (2020), pp.1-8.
https://search.emarefa.net/detail/BIM-1214697
نمط استشهاد الجمعية الطبية الأمريكية (AMA)
Zhu, Hu& Wang, Ze& Shi, Yu& Hua, Yingying& Xu, Guoxia& Deng, Lizhen. Multimodal Fusion Method Based on Self-Attention Mechanism. Wireless Communications and Mobile Computing. 2020. Vol. 2020, no. 2020, pp.1-8.
https://search.emarefa.net/detail/BIM-1214697
نوع البيانات
مقالات
لغة النص
الإنجليزية
الملاحظات
Includes bibliographical references
رقم السجل
BIM-1214697
قاعدة معامل التأثير والاستشهادات المرجعية العربي "ارسيف Arcif"
أضخم قاعدة بيانات عربية للاستشهادات المرجعية للمجلات العلمية المحكمة الصادرة في العالم العربي
تقوم هذه الخدمة بالتحقق من التشابه أو الانتحال في الأبحاث والمقالات العلمية والأطروحات الجامعية والكتب والأبحاث باللغة العربية، وتحديد درجة التشابه أو أصالة الأعمال البحثية وحماية ملكيتها الفكرية. تعرف اكثر