تحسين خوارزميات تصنيف الحالة الشعورية للأغاني باستخدام نموذج دمج الكلمات و الخصائص الصوتية بالاعتماد على التعلم العميق و تعلم الآلة

Other Title(s)

Improve music mood classification using lyrics and audio fusion model based on deep learning and machine learning

Joint Authors

الكردي، بسام محمد
البشلاوي، لايا كفاح

Source

مجلة جامعة دمشق للعلوم الهندسية : مجلة علمية محكمة دورية

Publisher

Damascus University

Publication Date

2022-12-31

Country of Publication

Syria

No. of Pages

11

Main Subjects

Learning Technology

Arabic Abstract

يهدف مجال التعرف على العواطف الموسيقية إلى دراسة العلاقة بين الموسيقى والعاطفة وهو مفيد في فهم الموسيقى و استرجاع المعلومات الموسيقية.

في هذا البحث قمنا باقتراح نموذج model جديد لتصنيف الحالة الشعورية للأغاني بالاعتماد على دمج عدة مصنفات مع بعضها ضمن نموذج شامل Fusion Model.

جرى استخلاص ثلاث مدخلات من كل أغنية وهذه المدخلات هي : الدخل الأول هو عبارة عن خرج مصنف مزاج الأغاني بالاعتماد على كلمات الأغنية حيث خضعت هذه الكلمات لمعالجة تحضيرية للنص و قد تم استخدام خوارزمية Random Forest لتحديد مزاج الأغنية، الدخل الثاني هو خرج مصنف مزاج الأغاني بالاعتماد على الخصائص الصوتية حيث جرى استخلاص مجموعة من الخصائص الصوتية ومن ثم استخدمت خوارزمية SVM لتحديد مزاج الأغنية.

وبالنسبة للدخل الثالث يأتي من مصنف الأغاني بالاعتماد على الجمل Sentences هنا تم استخلاص الجمل المكونة للأغنية وقد خضعت هذه الجمل لمعالجة تحضيرية للنص و من ثم تم استخدام خوارزمية Bidirectional LSTM مع مجموعة قيود لتحديد مزاج الأغنية، و في النهاية جرى أخذ هذه المدخلات الثلاثة و التي هي عبارة عن خرج المصنفات السابقة إلى مصنف الدمج لتحديد التصنيف النهائي، حيث أرسل كل مصنف أربعة قيم تمثل احتمالية مزاج الأغنية (happy ,relax, angry, sad) من وجهة نظر المصنف و قام مصنف الدمج بتحليل جميع المدخلات باستخدام خوارزمية Random Forest ومن ثم قام بتحديد التصنيف النهائي، و قد حقق هذا النهج المقترح فعالية أكبر و دقة أفضل وصلت على بيانات الاختبار إلى 97%.

English Abstract

Music emotion recognition is a field that aims to study the relationship between music and emotion and is helpful in music understanding and music information retrieval.

In this paper we propose a new model on music mood classification using Audio and Lyrics Fusion Model.

The input of this model extracted from the output of three models : music mood classification model based on lyrics using Random Forest algorithm, the accuracy of this model was 88%.

The second model is music mood classification model based on Acoustic using SVM algorithm, the accuracy of this model was 99%.

The final model was music mood classification model based on Sentences using Bidirectional LSTM algorithm, the accuracy of this model was 90%.

Finally, every classifier sends 4 statistical values present the song mood (happy, sad, angry, relax) to the fusion model that became its inputs, and using Random Forest algorithm the classifier detects the final song mood.

the accuracy of this model was 97%.

Data Type

Conference Papers

Record ID

BIM-1529969

• APA
• MLA
• AMA