Automatic classification of apps reviews for requirement engineering : exploring the customer’s need from the healthcare applications
Dissertant
Thesis advisor
University
Birzeit University
Faculty
Faculty of Engineering and Technology
Department
Department of Computer Systems Engineering
University Country
Palestine (West Bank)
Degree
Master
Degree Date
2019
Arabic Abstract
مع التطور المستمر لتطبيقات الهواتف الذكية، و توفر الملايين من التطبيقات على المتاجر، يوجد هناك عدد كبير جدا من التعليقات المفيدة من مستخدمي هذه الاجهزة، الذين يقومون بإبداء آرائهم البناته من أجل تحسين هذه البرامج في النسخ الجديدة و هذا ما يتيح الفرصة للشركات المبرمجة لهذه التطبيقات لتحسين هذه البرامج و الاهتمام بائهم لتلبية حاجاتهم المستمرة و المتجددة.
و لكن كما هو معروف من الصعب جدا القيام بقراءة و تنظيم وتصنيف هذه التعليقات بالطريقة التقليدية و هي الطريقة اليدوية حيث انها تحتاج وقتا كبيرا جدا وتحتاج ايضا إلى مبلغ ضخم من المالنوباستخدام خوارزميات تقليدية تفتقر للجوده.
و مع تطور علم البيانات و التعامل مع البيانات الضخمة التي تحوي كما كبيرا جدا من المعلومات، قمنا في هذه الرسالة بتطبيق آليات حديثة للتعامل مع آراء مستخدمي هذه التطبيقات الصحية للهواتف الذكية، و ذلك للعمل على تصنيف هذه البيانات إلى خمسة أقسام رئيسية كالتالي : إذا كان المشترك يعطي تقريرا عن مشكلة في البرنلج أو يريد اضافة ميزة جديدة أو بطؤ في البرنامج او ان المشترك يشكو من دقة بيانات البرنامج او وجود ثغرة امنية في البرنامج، و في نفس الوقت قمنا بتصنيف شعور المستخدم حول التطبيق الصحي ما إذا كان راض عنه أو غير راض أو بين ذلك.
واجهنا تحدي كبير جدا يجمع قرابة الى ۷۵۰۰ تعليق حقيقي من خلال ١٠ تطبيقات صحية للهواتف الذكية و قمنا من خلال خبراء فنين بعمل تصنيف يدوي لهذه التعليقات بحيث تم تعليم الخوارزميات المستخدمة العمل نمط معين من خلاله يتم تصنيف البيانات الجديدة بشكل تلقائي.
و بعد القيام بعدة تجارب مختلفة من توليفات دقيقة حصلنا على دقة تصنيف تصل 1 إلى 7 % في خوازمية Multi-nominal Nave Bays بالنسبة لشعور الأشخاص حول التطبيق المستخدم من قبلهم و ۸۸ % في المجموعة الثانية من التصنيفات التي تهتم بتصنيف متطلبات المستخدم.
و مع التحسين المستمر للبيانات و استخدام الخوارزمية المناسبة و مع التوليف المناسب حصلنا على نتيجة 90 % من دقة تصنيف التعليقات الجديدة و بشكل تلقائي.
من الجدير بالذكر، أن دقة التصنيف كانت أكبر كلما كانت جودة البيانات أكبر و مدققة من أكثر من خبير في نفس الوقت.
أيضا عندما تم الغاء التحيز المجموعة معينة من البيانات و جعل جميع المجموعات من البيانات متساوية، حصلنا على نتيجة 91 % من الدقة في شعور المستخدمين و ۸۹ % في المجموعة الثانية من التصنيفات التي تهتم بتصنيف متطلبات المستخدم.
English Abstract
Millions of mobile applications are available for download at the applications stores.
Millions of users write reviews expressing their daily experience on applications they used.
these reviews contain valuable information for application vendors and developers.
However, due to the amount of data, traditional searching algorithms don’t work to extract effective review information.
Machine learning techniques are efficiently used to extract significant information for software requirement Engineering.
In this project, we intend to apply machine learning techniques to classify health care application reviews into several types such as bug reports, new feature requests, application performance and accuracy and user interface.
There is no available free annotated data set for training and evaluating machine learning techniques, therefore, more than 7500 reviews for 10 different health-related mobile applications are annotated manually by experts in the field.
Our experiments show that Multi-nominal Naive Bays can classify mobile apps reviews into bugs, new features and sentimental with an accuracy of 87%, and into general bug, usability,security and performance with an accuracy of 88%.
The best result of the sentimental analysis system is 90%.
in addition, the experiments show that the overall performance is improved when we use the data subset with high confidence labels and when two experts agree on the same label.
The Re-sampling technique was successfully used to overcome the data imbalance problem in our data set, the accuracy improved to 89% for mobile apps reviews into a set of classes; bugs, security, new feature, performance, and usability and 96% for the sentimental reviews.
Main Subjects
Information Technology and Computer Science
Topics
No. of Pages
81
Table of Contents
Table of contents.
Abstract.
Abstract in Arabic.
Chapter One : Introduction.
Chapter Two : Literature review.
Chapter Three : Research methodology.
Chapter Four : Data collection and analysis.
Chapter Five : Experiments and results.
Chapter Six : Conclusion and future work.
References.
American Psychological Association (APA)
al-Kilani, Nadim. (2019). Automatic classification of apps reviews for requirement engineering : exploring the customer’s need from the healthcare applications. (Master's theses Theses and Dissertations Master). Birzeit University, Palestine (West Bank)
https://search.emarefa.net/detail/BIM-958762
Modern Language Association (MLA)
al-Kilani, Nadim. Automatic classification of apps reviews for requirement engineering : exploring the customer’s need from the healthcare applications. (Master's theses Theses and Dissertations Master). Birzeit University. (2019).
https://search.emarefa.net/detail/BIM-958762
American Medical Association (AMA)
al-Kilani, Nadim. (2019). Automatic classification of apps reviews for requirement engineering : exploring the customer’s need from the healthcare applications. (Master's theses Theses and Dissertations Master). Birzeit University, Palestine (West Bank)
https://search.emarefa.net/detail/BIM-958762
Language
English
Data Type
Arab Theses
Record ID
BIM-958762
