Visual Experience-Based Question Answering with Complex Multimodal Environments
المؤلف
المصدر
Mathematical Problems in Engineering
العدد
المجلد 2020، العدد 2020 (31 ديسمبر/كانون الأول 2020)، ص ص. 1-18، 18ص.
الناشر
Hindawi Publishing Corporation
تاريخ النشر
2020-11-19
دولة النشر
مصر
عدد الصفحات
18
التخصصات الرئيسية
الملخص EN
This paper proposes a novel visual experience-based question answering problem (VEQA) and the corresponding dataset for embodied intelligence research that requires an agent to do actions, understand 3D scenes from successive partial input images, and answer natural language questions about its visual experiences in real time.
Unlike the conventional visual question answering (VQA), the VEQA problem assumes both partial observability and dynamics of a complex multimodal environment.
To address this VEQA problem, we propose a hybrid visual question answering system, VQAS, integrating a deep neural network-based scene graph generation model and a rule-based knowledge reasoning system.
The proposed system can generate more accurate scene graphs for dynamic environments with some uncertainty.
Moreover, it can answer complex questions through knowledge reasoning with rich background knowledge.
Results of experiments using a photo-realistic 3D simulated environment, AI2-THOR, and the VEQA benchmark dataset prove the high performance of the proposed system.
نمط استشهاد جمعية علماء النفس الأمريكية (APA)
Kim, Incheol. 2020. Visual Experience-Based Question Answering with Complex Multimodal Environments. Mathematical Problems in Engineering،Vol. 2020, no. 2020, pp.1-18.
https://search.emarefa.net/detail/BIM-1201433
نمط استشهاد الجمعية الأمريكية للغات الحديثة (MLA)
Kim, Incheol. Visual Experience-Based Question Answering with Complex Multimodal Environments. Mathematical Problems in Engineering No. 2020 (2020), pp.1-18.
https://search.emarefa.net/detail/BIM-1201433
نمط استشهاد الجمعية الطبية الأمريكية (AMA)
Kim, Incheol. Visual Experience-Based Question Answering with Complex Multimodal Environments. Mathematical Problems in Engineering. 2020. Vol. 2020, no. 2020, pp.1-18.
https://search.emarefa.net/detail/BIM-1201433
نوع البيانات
مقالات
لغة النص
الإنجليزية
الملاحظات
Includes bibliographical references
رقم السجل
BIM-1201433
قاعدة معامل التأثير والاستشهادات المرجعية العربي "ارسيف Arcif"
أضخم قاعدة بيانات عربية للاستشهادات المرجعية للمجلات العلمية المحكمة الصادرة في العالم العربي
تقوم هذه الخدمة بالتحقق من التشابه أو الانتحال في الأبحاث والمقالات العلمية والأطروحات الجامعية والكتب والأبحاث باللغة العربية، وتحديد درجة التشابه أو أصالة الأعمال البحثية وحماية ملكيتها الفكرية. تعرف اكثر