التعرف على المشاعر في المحادثة

يعد التعرف على المشاعر في المحادثة (بالإنجليزية: Emotion recognition in conversation)‏ مجالًا فرعيًا للتعرف على المشاعر، ويركز على استخراج المشاعر البشرية من المحادثات أو الحوارات التي تتضمن محاورين أو أكثر.^[1] عادةً ما تشتق مجموعات البيانات في هذا المجال من المنصات الأساسية الاجتماعية التي تقدِّم العديد من العينات المجانية، وغالبًا ما تحتوي على بيانات تحليل المشاعر بأبعاد متعددة ^{[الإنجليزية]} (أي مزيج من البيانات النصية والمرئية والصوتية).^[2] تلعب التأثيرات الذاتية والشخصية دورًا حاسمًا في تحديد بعض المشاعر الأساسية، مثل الخوف، والغضب، والفرح، والمفاجأة، وما إلى ذلك. كلما زادت دقة تسميات المشاعر كلما كان من الصعب اكتشاف المشاعر الصحيحة. يطرح التعرف على المشاعر في المحادثة عددًا من التحديات،^[1] مثل نمذجة سياق المحادثة، ونمذجة حالة المتحدث، ووجود السخرية في المحادثة، وتحول العاطفة عبر لأقوال المتتالية للمحاور نفسه.

المهمة

تتعامل مهمة التعرف على المشاعر في المحادثة مع الكشف عن المشاعر التي عبر عنها المتحدثون في كل كلام من المحادثة، وتعتمد على ثلاثة عوامل أساسية - سياق المحادثة والحالة العقلية للمحاورين والقصد.^[1]

مجموعات البيانات

المقالة العربية الناقصة ^{[الإنجليزية]} وأيموكاب ^{[الإنجليزية]}،^[3] وسيماين ^{[الإنجليزية]}،^[4] وديلي دايالوج ^{[الإنجليزية]}،^[5] وميلد ^{[الإنجليزية]}^[6] هي مجموعات البيانات الأربعة المستخدمة على نطاق واسع في التعرف على المشاعر في المحادثة. من بين مجموعات البيانات الأربع هذه، يحتوي ميلد على حوارات متعددة الأطراف.

الأساليب

تتكون مقاربات التعرف على المشاعر في المحادثة من طرق تعلم غير مراقبة، وشبه مراقبة، وتعلم مراقب.^[7] تتضمن الطرق الشائعة الخاضعة للتعلم استخدام أو الجمع بين الميزات المحددة مسبقًا، والشبكات العصبية المتكررة (دايلوج آر إن إن DialogueRNN^[8])، وشبكات التحويل للرسوم البيانية^[9] (دايلوج آر إن إن)، وشبكة الذاكرة الهرمية ذات بوابات الانتباه. معظم الأساليب المعاصرة للتعرف على المشاعر في المحادثة تعتمد على التعلم العميق وتعتمد على فكرة نمذجة حالة المتحدث الكامنة.

التعرف على سبب العواطف في المحادثات

ظهرت مؤخرًا مهمة فرعية جديدة للتعرف على المشاعر في المحادثة تركز على التعرف على سبب المشاعر في المحادثة.^[10] تعتمد طرق حل هذه المهمة على آلية الإجابة على الأسئلة المستندة إلى نماذج اللغة. ويُعد نموذج ريكون (RECCON)^[10] واحد من مجموعات البيانات الرئيسية لهذه المهمة.

المراجع

^ ^ا ^ب ^ج Poria، Soujanya؛ Majumder، Navonil؛ Mihalcea، Rada؛ Hovy، Eduard (2019). "Emotion Recognition in Conversation: Research Challenges, Datasets, and Recent Advances". IEEE Access. ج. 7: 100943–100953. arXiv:1905.02947. Bibcode:2019arXiv190502947P. DOI:10.1109/ACCESS.2019.2929050.
^ Lee، Chul Min؛ Narayanan، Shrikanth (مارس 2005). "Toward Detecting Emotions in Spoken Dialogs". IEEE Transactions on Speech and Audio Processing. ج. 13 ع. 2: 293–303. DOI:10.1109/TSA.2004.838534.
^ Busso، Carlos؛ Bulut، Murtaza؛ Lee، Chi-Chun؛ Kazemzadeh، Abe؛ Mower، Emily؛ Kim، Samuel؛ Chang، Jeannette N.؛ Lee، Sungbok؛ Narayanan، Shrikanth S. (5 نوفمبر 2008). "IEMOCAP: interactive emotional dyadic motion capture database". Language Resources and Evaluation. ج. 42 ع. 4: 335–359. DOI:10.1007/s10579-008-9076-6. ISSN:1574-020X.
^ McKeown، G.؛ Valstar، M.؛ Cowie، R.؛ Pantic، M.؛ Schroder، M. (2 يناير 2012). "The SEMAINE Database: Annotated Multimodal Records of Emotionally Colored Conversations between a Person and a Limited Agent". IEEE Transactions on Affective Computing. ج. 3 ع. 1: 5–17. DOI:10.1109/t-affc.2011.20. ISSN:1949-3045. مؤرشف من الأصل في 2022-12-22.
^ Li, Yanran, Hui Su, Xiaoyu Shen, Wenjie Li, Ziqiang Cao, and Shuzi Niu. "DailyDialog: A Manually Labelled Multi-turn Dialogue Dataset." In Proceedings of the Eighth International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 986-995. 2017.
^ Poria، Soujanya؛ Hazarika، Devamanyu؛ Majumder، Navonil؛ Naik، Gautam؛ Cambria، Erik؛ Mihalcea، Rada (2019). "MELD: A Multimodal Multi-Party Dataset for Emotion Recognition in Conversations". Association for Computational Linguistics. Stroudsburg, PA, USA: 527–536. arXiv:1810.02508. DOI:10.18653/v1/p19-1050.
^ Abdelwahab، Mohammed؛ Busso، Carlos (مارس 2005). "Supervised domain adaptation for emotion recognition from speech". IEEE Transactions on Speech and Audio Processing: 5058–5062. DOI:10.1109/ICASSP.2015.7178934. ISBN:978-1-4673-6997-8.
^ Majumder، Navonil؛ Poria، Soujanya؛ Hazarika، Devamanyu؛ Mihalcea، Rada؛ Gelbukh، Alexander؛ Cambria، Erik (17 يوليو 2019). "DialogueRNN: An Attentive RNN for Emotion Detection in Conversations". Proceedings of the AAAI Conference on Artificial Intelligence. ج. 33: 6818–6825. DOI:10.1609/aaai.v33i01.33016818. ISSN:2374-3468.
^ "Graph Convolutional Networks are Bringing Emotion Recognition Closer to Machines. Here's how". Tech Times. 26 نوفمبر 2019. مؤرشف من الأصل في 2021-12-02. اطلع عليه بتاريخ 2020-02-25.
^ ^ا ^ب Poria, Soujanya; Majumder, Navonil; Hazarika, Devamanyu; Ghosal, Deepanway; Bhardwaj, Rishabh; Jian, Samson Yu Bai; Hong, Pengfei; Ghosh, Romila; Roy, Abhinaba (13 Sep 2021). "Recognizing Emotion Cause in Conversations". Cognitive Computation (بالإنجليزية). 13 (5): 1317–1332. arXiv:2012.11820. DOI:10.1007/s12559-021-09925-7. ISSN:1866-9964. Archived from the original on 2023-04-10.

[:03-1] ا ^ب ^ج Poria، Soujanya؛ Majumder، Navonil؛ Mihalcea، Rada؛ Hovy، Eduard (2019). "Emotion Recognition in Conversation: Research Challenges, Datasets, and Recent Advances". IEEE Access. ج. 7: 100943–100953. arXiv:1905.02947. Bibcode:2019arXiv190502947P. DOI:10.1109/ACCESS.2019.2929050.

[2] Lee، Chul Min؛ Narayanan، Shrikanth (مارس 2005). "Toward Detecting Emotions in Spoken Dialogs". IEEE Transactions on Speech and Audio Processing. ج. 13 ع. 2: 293–303. DOI:10.1109/TSA.2004.838534.

[3] Busso، Carlos؛ Bulut، Murtaza؛ Lee، Chi-Chun؛ Kazemzadeh، Abe؛ Mower، Emily؛ Kim، Samuel؛ Chang، Jeannette N.؛ Lee، Sungbok؛ Narayanan، Shrikanth S. (5 نوفمبر 2008). "IEMOCAP: interactive emotional dyadic motion capture database". Language Resources and Evaluation. ج. 42 ع. 4: 335–359. DOI:10.1007/s10579-008-9076-6. ISSN:1574-020X.

[4] McKeown، G.؛ Valstar، M.؛ Cowie، R.؛ Pantic، M.؛ Schroder، M. (2 يناير 2012). "The SEMAINE Database: Annotated Multimodal Records of Emotionally Colored Conversations between a Person and a Limited Agent". IEEE Transactions on Affective Computing. ج. 3 ع. 1: 5–17. DOI:10.1109/t-affc.2011.20. ISSN:1949-3045. مؤرشف من الأصل في 2022-12-22.

[5] Li, Yanran, Hui Su, Xiaoyu Shen, Wenjie Li, Ziqiang Cao, and Shuzi Niu. "DailyDialog: A Manually Labelled Multi-turn Dialogue Dataset." In Proceedings of the Eighth International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 986-995. 2017.

[6] Poria، Soujanya؛ Hazarika، Devamanyu؛ Majumder، Navonil؛ Naik، Gautam؛ Cambria، Erik؛ Mihalcea، Rada (2019). "MELD: A Multimodal Multi-Party Dataset for Emotion Recognition in Conversations". Association for Computational Linguistics. Stroudsburg, PA, USA: 527–536. arXiv:1810.02508. DOI:10.18653/v1/p19-1050.

[Abdelwahab3-7] Abdelwahab، Mohammed؛ Busso، Carlos (مارس 2005). "Supervised domain adaptation for emotion recognition from speech". IEEE Transactions on Speech and Audio Processing: 5058–5062. DOI:10.1109/ICASSP.2015.7178934. ISBN:978-1-4673-6997-8.

[8] Majumder، Navonil؛ Poria، Soujanya؛ Hazarika، Devamanyu؛ Mihalcea، Rada؛ Gelbukh، Alexander؛ Cambria، Erik (17 يوليو 2019). "DialogueRNN: An Attentive RNN for Emotion Detection in Conversations". Proceedings of the AAAI Conference on Artificial Intelligence. ج. 33: 6818–6825. DOI:10.1609/aaai.v33i01.33016818. ISSN:2374-3468.

[9] "Graph Convolutional Networks are Bringing Emotion Recognition Closer to Machines. Here's how". Tech Times. 26 نوفمبر 2019. مؤرشف من الأصل في 2021-12-02. اطلع عليه بتاريخ 2020-02-25.

[:0-10] ا ^ب Poria, Soujanya; Majumder, Navonil; Hazarika, Devamanyu; Ghosal, Deepanway; Bhardwaj, Rishabh; Jian, Samson Yu Bai; Hong, Pengfei; Ghosh, Romila; Roy, Abhinaba (13 Sep 2021). "Recognizing Emotion Cause in Conversations". Cognitive Computation (بالإنجليزية). 13 (5): 1317–1332. arXiv:2012.11820. DOI:10.1007/s12559-021-09925-7. ISSN:1866-9964. Archived from the original on 2023-04-10.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]