A new approach based on soft frequent pattern mining for detecting significant events in Arabic microblogs

Other Title(s)

تطوير منهجية تعتمد على تنقيب الأنماط المتكررة المرنة للكشف عن الأحداث الهامة في المدونات العربية المصغرة

Dissertant

Zindah, Jihad Husam al-Din Salih

Thesis advisor

Maghari, Ashraf Yunus

University

Islamic University

Faculty

Faculty of Information Technology

Department

Information Technology

University Country

Palestine (Gaza Strip)

Degree

Master

Degree Date

2018

Arabic Abstract

حديثاً، أصبحت المدونات الصغيرة وسيلة إتصال جديدة بين المستخدمين.

فقد سمحت لملايين المستخدمينمن نشر ومشاركة محتويات متعلقة بأنشطتهم وأرائهم عن مواضيع مختلفة.

إن نشر المحتوى المتعلق بالأحداث الجارية في العالم الحقيقي قد جذب الناس لمتابعة الأحداث من خلال المدونات الصغيرة بدلاً من وسائل الإعلام الرئيسية.

نتيجة لذلك، أصبحت هناك حاجة طارئة لكشف الأحداث من الدونات الصغيرة حتى يتمكن المستخدمون من تحديد الأحداث الجارية بشكل أسرع، أيضاً والأهم من ذلك، مساعدة السلطات العليا للإستجابة بشكل سريع في عمل اللازم عند حدوث حدثاً ما.

في حين أنه أجريت العديد من الأبحاث على كشف الأحداث باللغة الإنجليزية، إلا أن السياق العربي لم يأخذ نصيباً وفيراً في هذا المجال، على الرغم من وجود الملايين من المستخدمين العرب.

ايضاً، العديد من المناهج الموجودة حالياً تعتمد على خصائص معتمدة على المنصة المستخدمة في البحث مثل وسم الهاشتاق، وتأشيرة المستخدم، وإعادة التغريد، إلخ.

مما يجعل النهج المستخدم يتأثر سلباً في حال لم تكن هذه الخصائص موجودة أثناء عملية الكشف عن الأحداث بالإضافة الي ذلك المناهج التي تعتمد فقط على وجود الكلمات الأكثر استخداما لا تكشف الاحداث الحقيقية دائما لانها لا تستطيع التفرقة بين الحدث والمواضيع العامة الشائعة.

في هذه الأطروحة ، نقترح نهج لكشف الأحداث العربية من المدونات الصغيرة.

أولاً نقوم بجمع البيانات، ثم نقوم بتجهيزها من خلال تحسينها وتقليل الشوائب فيها.

يتم تحليل نص الجملة لإستخراج الأوسمة الخاصة بأجزاء الكلام.

بعدها نقوم بتطبيق مجموعة من القواعد لإستخراج الكلمات الدلالية التي تشير إلي الأحدات و تسمى مشغلات الأحداث يتم حساب عدد تكرار كل مشغل حدث، بحيث يتم الإحتفاظ على المشغلات التي لها عدد تكرار اكبر من المتوسط ويتم حذف عكس ذالك يتم الكشف عن الحدث من خلال تجميع مشغلات الأحداث المتشابهة مع بعضها حيث نقوم بتطبيق إصدار ملائم من خوارزمية "التنقيب الناعم عن الأنماط المتكررة" على مشغلات الأحداث التي تبقت لكي يتم تجميع المتشابه منها.

قمنا بإستخدام قاعدة بيانات تسمى "" Evetar لتقييم النهج المقترح حيث تحتوي قاعدة البيانات على تغريدات تغطى عدة انواع من الأحداث العربية التي حدثت خلال فترة شهر لكي نقوم بمحاكاة طريقة تدفق البيانات في المدونات الصغيرة، قمنا بتقسييم البيانات إلي عدة مجموعات بناءاً على فترات زمنية مختلفة.

تم إستخدام كل من "" Precision , " "" F-Measure " , "Recallكمقياس للتقييم، حيث كانت أعلى متوسط قيمة للـ "" F-Measure تم الحصول عليها هي .0.717 تعتبر النتائج التي حصلنا عليها مقبولة مقارنة مع ثلاث مناهج مشهورة تم تطبيقها على نفس قاعدة البيانات.

English Abstract

Recently, Microblogs have become the new communication medium between users.

It allows millions of users to post and share content of their own activities, opinions about different topics.

Posting about occurring real-world events has attracted people to follow events through microblogs instead of mainstream media.

As a result, there is an urgent need to detect events from microblogs so that users can identify events quickly, also and more importantly to aid higher authorities to respond faster to occurring events by taking proper actions.

While considerable researches have been conducted for event detection on the English language.

Arabic context have not received much research even though there are millions of Arabic users.

Also existing approaches rely on platform dependent features such as hashtags, mentions, retweets etc.

which make their approaches fail when these features are not present in the process.

In addition to that, approaches that depend on the presence of frequently used words only do not always detect real events because it cannot differentiate events and general viral topics.

In this thesis, we propose an approach for Arabic event detection from microblogs.

We first collect the data, then a preprocessing step is applied to enhance the data quality and reduce noise.

The sentence text is analyzed and the part-of-speech tags are identified.

Then a set of rules are used to extract event indicator keywords called event triggers.

The frequency of each event triggers is calculated, where event triggers that have frequencies higher than the average are kept, or removed otherwise.

We detect events by clustering similar event triggers together.

An Adapted soft frequent pattern mining is applied to the remaining event triggers for clustering.

We used a dataset called Evetar to evaluate the proposed approach.

The dataset contains tweets that cover different types of Arabic events that occurred in a one month period.

We split the dataset into different subsets using different time intervals, so that we can mimic the streaming behavior of microblogs.

We used precision, recall and fmeasure as evaluation metrics.

The highest average f-measure value achieved was 0.717.

Our results were acceptable compared to three popular approaches applied to the same dataset

Main Subjects

Information Technology and Computer Science

Topics

• Data mining

No. of Pages

76

Table of Contents

• APA
• MLA
• AMA

Language

English

Data Type

Arab Theses

Record ID

BIM-905430