Controlling a robotic arm using image-based feedback and deep reinforcement learning
Dissertant
Thesis advisor
University
Philadelphia University
Faculty
Faculty of Engineering
Department
Department of Mechatronics Engineering
University Country
Jordan
Degree
Master
Degree Date
2019
Arabic Abstract
إن هذا العمل يقديم طريقة ممنهجة للتنفيذ مهمة ذراع آلية باستخدام الصور كمرجع مع التعلم التعزيز العميق ( DRL ).
تتمثل المهمة في أن يصل الذراع الآلي إلى الهدف المرغوب دون الحاجة إلى الحصول على معلومات حول الهدف و لا النموذج الرياضي للروبوت أي ) بدون نموذج ) توظف الطريقة هذه الصور لتمثيل : حالة البيئة المحيطة بالروبوت وتستخدمها في سبيل اعطاء المكافاة في حال اتمام المهمة.
يعتمد المتحكم على شبكة عصبونية تسمی ( CNN )، مع وحدات بكسل خام كم دخانت و المخرجات هي القيم التقدرية لمجموع المكافآت المستقبلية للعام ما.
المتحكم يستخدم نسخة معدلة من خوارزمية ( DQN ) الشهيرة لاكتساب المعرفة و التحكم في البيئة المحيطة ( أي النظام ).
تم اتستخدم نسختين من هذه الخوارزمية الأولى كانت هي النسخة الأصلية منها و أما النسخة الثانية فكانت النسخة المعدلة.
حيث أن خوارزمية ( DQN الأصلية استخدمة في داخلها خوارزمية أخرى تتدعى ( Temporal-Difference ) للمساعدة في عملية التعلم.
كما استخدمة الخوارزمية الأصلية ميزة إعادة تشغيل التجربة.
أما خوارزمية ( DQN ) المعدلة فقد استخدمت نفس المبدأ، لكنها أضافة ميزة التقاط تسلسل الإجراءات.
تعمل هذه الميزة على تحسين أداء المتحكم من خلال حفظ أعلى سلسلة مكافآت من الإجراءات و إعادة تشغيلها كلما تعرض المتحكم لسلسلة من الحلقات الفاشلة تم استخدام العديد من عمليات المحاكاة للتحقق من هذه المنهجية المقترحة حيث تم اختبار الإصدار المعدل من ( DQN ) في خمس حالات مع ثانثة روبوت مختلفة.
استخدم هذا العمل بيثون لكتابة الخوارزمية وبرنامج ( V-Rep ) لتوفير النماذج الرسومية للذراع الآلي.
توضح النتائج أن المتحكم نجح في التحكم بالروبوت حيث أنه اتسطاع الوصول إلى الهدف المنشود باستخدام الصور فقط كمدخلات.
English Abstract
This work presents a methodology for implementing a robotic arm task using feedback images and Deep Reinforcement Learning ( DRL ).
The task is for the robotic arm to reach a desired target without having information about the target position nor the mathematical model of the robot (i.e., model-free).
The methodology employs information from images to represent both: the state of the environment and the reward function.
The agent ( i.e.
controller ) is based on a convolutional neural network structure, with raw pixels as inputs and value function estimating future rewards as outputs.
The agent type is value-based that uses a modified version of the famous Deep Q-Network ( DQN ) algorithm to gain knowledge and control over the environment ( i.e.
plant ).
The original DQN algorithm uses Temporal-Difference ( TD ) target along with experience replay while the modified DQN algorithm uses the same principle, but adds actions-sequence capture feature.
This feature improves the agent’s performance by memorizing the highest rewarded sequence of actions episode and replay it over whenever the agent experiences a sequence of failed episodes.
Several simulation runs are used to validate the proposed methodology as the modified version of DQN is tested on five cases with three different robot structures.
This work used Python for coding the algorithm and V-Rep for providing the graphical modelling of the robotic arm.
Results show that the agent succeeded in controlling the robot’s position and reaching the desired target using only images as inputs.
Main Subjects
Information Technology and Computer Science
Topics
No. of Pages
57
Table of Contents
Table of contents.
Abstract.
Abstract in Arabic.
Chapter One : Introduction.
Chapter Two : Theoretical background.
Chapter Three : Research methodology.
Chapter Four : Simulation and results.
Chapter Five : Conclusion and future work.
References.
American Psychological Association (APA)
al-Zabt, Abd Allah Muhammad. (2019). Controlling a robotic arm using image-based feedback and deep reinforcement learning. (Master's theses Theses and Dissertations Master). Philadelphia University, Jordan
https://search.emarefa.net/detail/BIM-956595
Modern Language Association (MLA)
al-Zabt, Abd Allah Muhammad. Controlling a robotic arm using image-based feedback and deep reinforcement learning. (Master's theses Theses and Dissertations Master). Philadelphia University. (2019).
https://search.emarefa.net/detail/BIM-956595
American Medical Association (AMA)
al-Zabt, Abd Allah Muhammad. (2019). Controlling a robotic arm using image-based feedback and deep reinforcement learning. (Master's theses Theses and Dissertations Master). Philadelphia University, Jordan
https://search.emarefa.net/detail/BIM-956595
Language
English
Data Type
Arab Theses
Record ID
BIM-956595