Motion estimation of on-road vehicles from moving platform using stereo vision

Other Title(s)

استنباط حركة المركبات على الطريق من واجهة متحركة باستخدام الرؤية الثنائية

Dissertant

Abu Jalalah, Hazm Jamal Muhammad

Thesis advisor

al-Ayidi, Hatim Ali
Abu Hadrus, Iyad Muhammad Ayyub

University

Islamic University

Faculty

Faculty of Engineering

Department

Electrical Engineering Department

University Country

Palestine (Gaza Strip)

Degree

Master

Degree Date

2018

Arabic Abstract

يقترح هذا البحث طريقة جديدة لاستنباط متغيرات حركة المركبات على الطريق اعتمادا على دفق من صور الرؤية الثنائية يتم التقاطها من مركبة متحركة تركز الدراسة على الحالات العملية للمرور على الطرق مثل المركبات القادمة و المركبات الملتفة على التقاطعات المرورية.

تقوم الطريقة باستنباط موضع المركبة ثنائي الأبعاد و اتجاهها نسبة إلى المركبة المرجعية و سرعتها و تسارعها و معدل دوران اتجاهها تستخدم الطريقة في استنباط المتغيرات المذكورة مرشح كلمان الموسع من الدرجة الأولى والذي يتم تزويده بقياسات الرؤية الثنائية لنقطة يتم تتبعها على وكذلك سطح المركبة.

في هذا البحث تم تحليل ضوضاء نموذج القياس للرؤية الثنائية وقياسها بشكل صحيح، و تم تحليل ضوضاء النموذج الديناميكي وتقديره كميا بشكل فعال من خلال فرضية الحدود الميكانيكية للحركة.

لقد تم دراسة خاصية قابلية استنباط متغيرات الحركة حيث أثبتنا أن الطريقة تتميز بهذه الخاصية في الحالات العملية للمركبات على الطرق إثباتا تحليليا و إثباتا عدديا.

لقد تم بشكل نظامي تقييم كامل المنظومة من خلال بيانات محاكاة كذلك من خلال بيانات العالم الحقيقي المستقاة من قاعدة بيانات ( KITTI ) و قد أظهرت نتائج اختبار الطريقة من خلال البيانات المولدة للمحاكاة أنه باستخدام فرضية الحدود الميكانيكية للحركة لضبط الشروط الابتدائية للمرشح و تقويم ضوضاء النموذج الديناميكي فإن الطريقة قادرة بشكل دقيق ومستقر وسريع على استنباط المتغيرات المذكورة في حالات أصعب من الواقع العملي للمركبات على الطرق، كما أظهرت نتائج الاختبار من خلال بيانات العالم الحقيقي أن الطريقة قادرة وبشكل موثوق على الاستباط الدقيق للمتغيرات المذكورة في العديد من السيناريوهات العملية، أخيرا تم تبيان حدود عمل النظام والمشاكل العملية كضبط الشروط الابتدائية لعمل المرشحات و الأخطاء العددية البرمجية.

English Abstract

In this thesis, a novel approach for estimating the motion of on-road vehicles based on stereo image sequences from a moving platform is proposed.

The approach focuses on the practical situations of the on-road traffic such as oncoming traffic and turning vehicles at urban intersections.

The estimated states are the 2D position and orientation (yaw) of an observed vehicle relative to the ego-vehicle, as well as the observed vehicle’s velocity, acceleration and the rotational velocity (yaw rate).

These parameters are estimated by means of 1st order Extended Kalman Filter provided by the stereo vision observations of tracked point on the observed vehicle’s surface.

The stereo vision measurement model noise is analyzed and successfully characterized for the real test data, also the dynamic models noise is analyzed and sufficiently estimated through the proposed mechanical limitations assumption.

The observability property of the overall system is inspected, such that its proved analytically and numerically that the system is observable for on-road practical situations.

The overall system is systematically evaluated both on synthesized and real-world data from the realistic dataset “KITTI benchmark”, where the synthesized data results show that the proposed mechanically limited filter initialization and process noise variance accurately estimate the object pose and motion parameters in a very complicated situation with fast convergence, also the real data results show that the proposed system is able to reliably estimate the object pose and motion parameters in a variety of challenging situations.

Finally, the limits of the system and the practical issues such as the filter initialization and the numerical errors are carefully investigated

Main Subjects

Electronic engineering

Topics

• Kalman filtering

No. of Pages

95

Table of Contents

• APA
• MLA
• AMA

Language

English

Data Type

Arab Theses

Record ID

BIM-903197