Controlling a robotic arm using image-based feedback and deep reinforcement learning

Dissertant

al-Zabt, Abd Allah Muhammad

Thesis advisor

Tutanji, Tariq A.

University

Philadelphia University

Faculty

Faculty of Engineering

Department

Department of Mechatronics Engineering

University Country

Jordan

Degree

Master

Degree Date

2019

Arabic Abstract

إن هذا العمل يقديم طريقة ممنهجة للتنفيذ مهمة ذراع آلية باستخدام الصور كمرجع مع التعلم التعزيز العميق ( DRL ).

تتمثل المهمة في أن يصل الذراع الآلي إلى الهدف المرغوب دون الحاجة إلى الحصول على معلومات حول الهدف و لا النموذج الرياضي للروبوت أي ) بدون نموذج ) توظف الطريقة هذه الصور لتمثيل : حالة البيئة المحيطة بالروبوت وتستخدمها في سبيل اعطاء المكافاة في حال اتمام المهمة.

يعتمد المتحكم على شبكة عصبونية تسمی ( CNN )، مع وحدات بكسل خام كم دخانت و المخرجات هي القيم التقدرية لمجموع المكافآت المستقبلية للعام ما.

المتحكم يستخدم نسخة معدلة من خوارزمية ( DQN ) الشهيرة لاكتساب المعرفة و التحكم في البيئة المحيطة ( أي النظام ).

تم اتستخدم نسختين من هذه الخوارزمية الأولى كانت هي النسخة الأصلية منها و أما النسخة الثانية فكانت النسخة المعدلة.

حيث أن خوارزمية ( DQN الأصلية استخدمة في داخلها خوارزمية أخرى تتدعى ( Temporal-Difference ) للمساعدة في عملية التعلم.

كما استخدمة الخوارزمية الأصلية ميزة إعادة تشغيل التجربة.

أما خوارزمية ( DQN ) المعدلة فقد استخدمت نفس المبدأ، لكنها أضافة ميزة التقاط تسلسل الإجراءات.

تعمل هذه الميزة على تحسين أداء المتحكم من خلال حفظ أعلى سلسلة مكافآت من الإجراءات و إعادة تشغيلها كلما تعرض المتحكم لسلسلة من الحلقات الفاشلة تم استخدام العديد من عمليات المحاكاة للتحقق من هذه المنهجية المقترحة حيث تم اختبار الإصدار المعدل من ( DQN ) في خمس حالات مع ثانثة روبوت مختلفة.

استخدم هذا العمل بيثون لكتابة الخوارزمية وبرنامج ( V-Rep ) لتوفير النماذج الرسومية للذراع الآلي.

توضح النتائج أن المتحكم نجح في التحكم بالروبوت حيث أنه اتسطاع الوصول إلى الهدف المنشود باستخدام الصور فقط كمدخلات.

English Abstract

This work presents a methodology for implementing a robotic arm task using feedback images and Deep Reinforcement Learning ( DRL ).

The task is for the robotic arm to reach a desired target without having information about the target position nor the mathematical model of the robot (i.e., model-free).

The methodology employs information from images to represent both: the state of the environment and the reward function.

The agent ( i.e.

controller ) is based on a convolutional neural network structure, with raw pixels as inputs and value function estimating future rewards as outputs.

The agent type is value-based that uses a modified version of the famous Deep Q-Network ( DQN ) algorithm to gain knowledge and control over the environment ( i.e.

plant ).

The original DQN algorithm uses Temporal-Difference ( TD ) target along with experience replay while the modified DQN algorithm uses the same principle, but adds actions-sequence capture feature.

This feature improves the agent’s performance by memorizing the highest rewarded sequence of actions episode and replay it over whenever the agent experiences a sequence of failed episodes.

Several simulation runs are used to validate the proposed methodology as the modified version of DQN is tested on five cases with three different robot structures.

This work used Python for coding the algorithm and V-Rep for providing the graphical modelling of the robotic arm.

Results show that the agent succeeded in controlling the robot’s position and reaching the desired target using only images as inputs.

Main Subjects

Information Technology and Computer Science

Topics

• Image processing

No. of Pages

57

Table of Contents

• APA
• MLA
• AMA

Language

English

Data Type

Arab Theses

Record ID

BIM-956595