ذكاء اصطناعي قابل للتفسير

الذكاء الاصطناعي القابل للتفسير[1] (بالإنجليزية: Explainable AI)‏، أو الذكاء الاصطناعي المُفَسَّر، أو تعلم الآلة القابل للتفسير (بالإنجليزية: Explainable Machine Learning)‏،[2] هو الذكاء الاصطناعي الذي يمكن للبشر فهم المنطق والأسباب وراء القرارات والتنبؤات التي يتخذها.[3] وهذا الفهم يتنافى مع مفهوم الصندوق الأسود في تعلّم الآلة، حيث لا يستطيع حتى مصمّمو الذكاء الاصطناعي تفسير سبب وصول الذكاء الاصطناعي لقرار معيّن.[4][5]

يهدف الذكاء الاصطناعي القابل للتفسير في مساعدة مستخدمي الأنظمة على الأداء بشكل أفضل من خلال تحسين فهمهم لطريقة تفكير تلك الأنظمة

ويهدف الذكاء الاصطناعي القابل للتفسير في مساعدة مستخدمي الأنظمة المدعومة بالذكاء الاصطناعي على الأداء بشكل أفضل من خلال تحسين فهمهم لطريقة تفكير تلك الأنظمة.[6]، وقد يكون الذكاء الاصطناعي القابل للتفسيرتنفيذًا للحق الاجتماعي في التفسير.[7] وحتى إذا لم يكن هناك حق قانوني أو متطلبات تنظيمية ممّاثلة، يمكن للذكاء الاصطناعي المُفسر تحسين تجربة المستخدم للمنتج أو الخدمة عن طريق اكساب المستخدمين النهائيين الثقة في أن الذكاء الاصطناعي يتخذ قرارات جيدة. كما يهدف الذكاء الاصطناعي القابل للتفسير إلى شرح ما نُفذ وما يُفعل حاليًا، وما سوف ينفذ بعد ذلك، والكشف عن المعلومات التي تستند إليها هذه الإجراءات.[8] وهذا يجعل من الممكن تأكيد المعرفة الموجودة، لتحدي المعرفة الحالية، وتوليد افتراضات جديدة.[9]

فهم نموذج تعلّم الآلة

عدل

يمكن تصنيف خوارزميات تعلّم الآلة (ML) المستخدمة في الذكاء الاصطناعي إلى نماذج بيضاء أو صناديق سوداء.[10] وتوفر النماذج البيضاء نتائج يمكن أن يفهمها الخبراء في المجال، بينما تُعد نماذج الصناديق السوداء صعبة للغاية في التفسير، ولا يمكن فهمها حتى من قبل الخبراء في المجال.[11] وتتبع خوارزميات الذكاء الاصطناعي المفسّر ثلاثة مبادئ وهي الشفافية والتفسيرية والتوضيحية. ويكون النموذج شفافًا "إذا كان بإمكان مصمم النهج وصف العمليات التي تستخرج معلمات النموذج من بيانات التدريب وتولد العلامات من بيانات الاختبار وتوضيح دوافعها".[12] أما التفسيرية فهي تصف إمكانية فهم نموذج تعلّم الآلة وتقديم أساس اتخاذ القرارات بطريقة يمكن للبشر فهمها.[13][14][15] التوضيحية هي مفهوم مهم في الذكاء الاصطناعي وتعلم الآلة، وتشير إلى قدرة على تقديم تفسيرات قابلة للفهم لقراراتها أو أفعالها، إلا أنه لا يتوفر تعريف موحد لما يعنيه بالضبط أو كيفية تطبيق.[12] أحد الاحتمالات هو: "مجموعة الميزات في المجال التفسيري التي أسهمت في إنتاج القرار (مثل التصنيف أو الانحدار) لمثال معين".[16] إذا أُفترض أن الخوارزميات تفي بتلك المبادئ، فإنها توفر أساسًا لتبرير القرارات وتتبعها، وبالتالي يمكن التحقق منها وتحسين الخوارزميات واستكشاف حقائق جديدة.[17]

يمكن في بعض الأحيان أيضًا تحقيق نتيجة دقيقة عالية باستخدام خوارزمية تعلم الآلة في اختبار الصندوق الأبيض وقابلة للتفسير.[18] وهذا مهم خصوصاً في مجالات محددّة مثل الطب والدفاع والمالية والقانون، حيث من الحيوي فهم القرارات وبناء الثقة في الخوارزميات.[19] يقول العديد من الباحثين إن الطريقة المستقبلية، على الأقل بالنسبة لتعلّم الآلة المشرف عليه، هي التحليل الرمزي، حيث تبحث الخوارزمية في مساحة التعابير الرياضية لإيجاد النموذج الذي يناسب بشكل أفضل مجموعة البيانات المعطاة.[20][21][22]

أهدف مُحدّدة رياضياً

عدل

تقوم أنظمة الذكاء الاصطناعي بتحسين السلوك لتحقيق هدف رياضي مُحدد يختاره مصممو النظام. ويمكن للذكاء الاصطناعي أن يتعلم قواعد عامة مفيدة من مجموعة الاختبار، مثل "التقييمات التي تحتوي على كلمة 'فظيع' عادة ما تكون سلبية". ومع ذلك، قد يتعلم أيضًا قواعد غير مناسبة، مثل "التقييمات التي تحتوي على 'دانيال داي لويس' عادة ما تكون إيجابية"؛ ويمكن أن تكون هذه القواعد غير مرغوبة إذا كانت عرضة للفشل في التعميم خارج مجموعة التدريب أو إذا اعتبر الناس تلك القاعدة "غشًا" أو "غير عادلة". كما يمكن للإنسان مراجعة القواعد في الذكاء الاصطناعي القابل للتفسير للحصول على فكرة عن مدى احتمالية تعميم النظام على البيانات الحقيقية في المستقبل خارج مجموعة الاختبار.[23]

الأهداف

عدل

التعاون بين الوكلاء، في هذه حالة الخوارزميات والبشر يعتمد على الثقة، فإذا كان البشر سيقبلون الوصفات الخوارزمية، فيجب أن يثقوا بها. والنقص في صياغة معايير الثقة يشكل عائقًا أمام النهج التحسيني المباشر. الشفافية والتفسيرية والتوضيحية هي أهداف وسيطة على الطريق نحو هذه معايير الثقة الأكثر شمولًا.[24] وهذا مهم في الطب على وجه الخصوص،[25] وخاصة في أنظمة دعم القرار السريري، حيث يجب أن يكون المهنيون الطبيون قادرين على فهم كيفية ولماذا أتخذ قرار قائم على الآلة من أجل الثقة في القرار وتعزيز عملية صنع قراراتهم.[26]

قد تتعلم أنظمة الذكاء الاصطناعي في بعض الأحيان حيلاً غير مرغوب فيها تؤدي بشكل مثالي لتحقيق الأهداف المبرمجة مسبقًا في بيانات التدريب، ولكنها لا تعكس الرغبات الضمنية الأكثر تعقيدًا لمصممي النظام البشر أو الكاملة لتعقيدات بيانات المجال. على سبيل المثال، في عام 2017، تعلم نظام مهمته التعرف على الصورة "الغش" عن طريق البحث عن علامة حقوق النشر التي ارتبطت عن طريق الصدفة بصور الخيول، بدلاً من تعلم كيفية التحقق ممّا إذا كانت الصورة تصور فعلًا حصانًا.[27] في نظام آخر في عام 2017، تعلمت نظام الذكاء الاصطناعي الذي يعتمد على التعلم الإشرافي والمكلف بالإمساك بالعناصر في عالم افتراضي، الغش عن طريق وضع محركه بين الكائن والمشاهد بطريقة تجعله يبدو كما لو كان يحتجز الكائن على الرغم من عدم احتجازه بالفعل.[28][29]

أحد مشاريع الشفافية، هو برنامج داربا الذكاء الاصطناعي القابل للتفسير، الذي يهدف إلى إنتاج نماذج "صندوق زجاجي" يمكن تفسيرها "للإنسان في حلقة التحكم" دون التضحية بأداء التعلم الآلي بشكل كبير. إذ يمكن للمستخدمين البشر في هذا النظام فهم الإدراك الذي يتمتع به الذكاء الاصطناعي (في الوقت الحقيقي وبعد حدوث الحدث)، ويمكنهم تحديد ما إذا كانوا يثقون بالذكاء الاصطناعي أم لا.[30] التطبيقات الأخرى للذكاء الاصطناعي القابل للتفسير هي استخراج المعرفة من نماذج الصندوق الأسود ومقارنات النماذج.[31] يستخدم مصطلح "الصندوق الزجاجي" أيضًا لوصف الأدوات التي تراقب مدخلات ومخرجات النظام، بهدف التحقق من التزام النظام بالقيم الأخلاقية والاجتماعية القانونية والتي تنتج تفسيرات قائمة على القيمة.[32] يستخدم المصطلح أيضًا لتسمية المساعد الصوتي الذي ينتج عبارات غير واقعية بوصفها تفسيرات.[33]

التاريخ والأساليب

عدل

من السبعينيات إلى تسعينيات القرن الماضي، يمكن لأنظمة الذكاء الاصطناعي الرمزي، مثل MYCIN،[34] GUIDON،[35] SOPHIE،[36] وPROTOS[37][38] أن تمثل وتفسر وتشرح أسبابها للتشخيص والتعليمي، أو التعلم الآلي (التعلم القائم على الشرح). إذ يمكن لنظام MYCIN، الذي طوّر في أوائل السبعينيات كنموذج بحثي أولي لتشخيص عدوى تجرثم الدم في مجرى الدم، أن يفسر[39] أي من قواعده المشفرة يدويًا التي ساهمت في التشخيص في حالة معينة. كما أدى البحث في أنظمة التدريس الذكية إلى تطوير أنظمة مثل SOPHIE الذي يمكن أن يعمل "كخبير مفصل"، ويشرح استراتيجية حل المشكلات على مستوى يمكن للطالب فهمه، حتى يعرف الإجراء الذي يجب اتخاذه بعد ذلك. على سبيل المثال، ويمكن أن يشرح نظام SOPHIE المنطق النوعي وراء استكشاف الأخطاء وإصلاحها في الإلكترونيات، على الرغم من أنها اعتمدت في النهاية على محاكي الدائرة برنامج سبايس. وبالمثل، أضاف نظام GUIDON قواعد البرنامج التعليمي لتكملة قواعد مستوى المجال الخاصة بـنظام MYCIN حتى يتمكن من شرح استراتيجية التشخيص الطبي. ويعتمد النهج الرمزي لتعلم الآلة، وخاصة تلك التي تعتمد على التعلم القائم على التفسير، مثل نظام PROTOS، بشكل صريح على تمثيل التفسيرات، سواء لشرح أفعالهم أو لاكتساب معرفة جديدة.

نظام المحافظة على الدقة (TMS)

عدل

في الثمانينيات وحتى أوائل التسعينيات من القرن الماضي، وسعت أنظمة التحقق على الصحة من قدرات الاستدلال السببي وأنظمة الاستدلال المستندة إلى القواعد والمنطقية.[40] ويتبع نظام التحقق من الصحة بشكل صريح خطوط التفكير البديلة، وتبريرات الاستنتاجات، وخطوط التفكير التي تؤدي إلى التناقضات، ممّا يسمح للتفكير المستقبلي بتجنب هذه النهايات المسدودة. ولتوفير التفسيرات، يتتبعون التفكير من الاستنتاجات إلى الافتراضات من خلال عمليات القواعد أو الاستدلال المنطقي، ممّا يسمح بإنشاء تفسيرات من خلال تتبع التفكير، فعلى سبيل المثال، يمكن للتفكير حل مشكلة قائمة على القواعد تتعلق بسقراط والتي تنتهي بالاستنتاج أنه توفي بسبب السم:

من خلال تتبع هيكل الاعتماد، يمكن لحل

بمجرد تتبع هيكل الاعتماد، يمكن لحل المشكلة بناء التفسير التالي: "مات سقراط لأنه كان قابل للموت وشرب السم، وجميع القابلين للموت يموتون عندما يشربون السم. وكان سقراط قابل للموت لأنه كان إنسانًا، وجميع البشر قابلون للموت. وشرب سقراط السم لأنه كان يحمل آراء مخالفة، وكانت الحكومة تتميز بالتحفظ، ويجب على أولئك الذين يحملون آراء مخالفة تحت حكومات تحفظية شرب السم".

في التسعينيات، بدأ الباحثون في دراسة ما إذا كان من الممكن استخراج القواعد غير المبرمجة يدويًا التي تولدها الشبكات العصبية المدربة بطريقة غير شفافة.[41] سعى الباحثون في أنظمة الخبراء السريرية التي تستخدم الشبكات العصبية لدعم اتخاذ القرارات الطبية إلى تطوير تفسيرات ديناميكية تساعد على زيادة الثقة في استخدام هذه التقنيات في الممّارسة العملية.[7] وفي العقد الثاني من القرن الحادي والعشرين، ربما أدت مخاوف الجمهور بشأن التحيز العنصري والتحيز الآخر في استخدام الذكاء الاصطناعي لاتخاذ قرارات الإدانة الجنائية وتحديد الجدارة الائتمانية إلى زيادة الطلب على الذكاء الاصطناعي الشفاف.[27] نتيجة لذلك، يقوم العديد من الأكاديميين والمؤسسات بتطوير أدوات للمساعدة في اكتشاف التحيز في أنظمتهم.[42]

أثار مارفن مينسكي وآخرون، مسألة أن الذكاء الاصطناعي يمكن أن يعمل كشكل من أشكال المراقبة، مع التحيزات المتأصلة في المراقبة، ممّا يشير إلى الذكاء الإنساني بوصفه طريقة لإنشاء ذكاء اصطناعي أكثر إنصافًا وتوازنًا.[43]

تقنيات الذكاء الاصطناعي الحديثة المعقدة، مثل التعلم العميق والخوارزميات الوراثية، غير شفافة بشكل طبيعي.[44] ولمعالجة هذه المشكلة، طوّرت أساليب لجعل النماذج الجديدة أكثر قابلية للتفسير.[13][14][45][46] هذا يشمل "تقنية انتشار الأهمية الطبقية" وهي تقنية تستخدم لتحديد السمات التي تساهم بشكل أكبر في إخراج الشبكة العصبية.[47][48] كما تشرح تقنيات أخرى بعض التنبؤات الخاصة التي تنفذ بواسطة نموذج الصندوق الأسود (غير الخطي)، وهو هدف يُشار إليه باسم "القابلية للتفسير المحلي".[49][50][51][52][53][54] إن مجرد نقل مفاهيم القابلية للتفسير المحلي إلى سياق بعيد (حيث ينفذ طرف ثالث نموذج الصندوق الأسود).[55][56]

كان هناك عمل على صنع نماذج الصندوق الزجاجي التي تكون أكثر شفافية للفحص.[18][57] يتضمن ذلك أشجار القرار،[58] وشبكات بايزية، ونماذج الإنحدار الخطية متفرقة وغيرها.[59] وأسس مؤتمر الجمعية الأمريكية للحوسبة حول العدالة والمساءلة والشفافية (ACM FAccT) في عام 2018 لدراسة الشفافية والقدرة على الشرح في سياق الأنظمة الاجتماعية التقنية، والعديد منها يتضمن الذكاء الاصطناعي.[60][61]

تسمح بعض التقنيات بتصوير الإدخالات التي يستجيب لها بيئة محاكاة النمذجة نيورون بشكل أكثر قوة. وقد وجدت العديد من المجموعات أنه يمكن تجميع نيورون في دوائر تؤدي وظائف يمكن للإنسان فهمها، وبعضها ينشأ بشكل موثوق عبر شبكات مختلفة دُربت بشكل مستقل.[62][63]

هناك العديد من التقنيات لاستخراج تمثيلات مضغوطة للسمات من الإدخالات المعطاة، والتي يمكن تحليلها بواسطة التحليل العنقودي القياسي. وبدلاً من ذلك، يمكن تدريب الشبكات لإخراج تفسيرات لغوية لسلوكها، والتي يمكن فهمها مباشرة من الإنسان.[64] يمكن أيضًا تفسير سلوك النموذج بالرجوع إلى بيانات التدريب، فعلى سبيل المثال، من خلال تقييم مدخلات التدريب التي أثرت أكثر على سلوك معين.[65]

الأنظمة

عدل

بما أن الجهات الرسمية والمستخدمين العامين يعتمدون على نظم الذكاء الاصطناعي الديناميكية، فإنه يتعين توفير المزيد من المساءلة الواضحة للعمليات القرارية التلقائية لضمان الثقة والشفافية. وقد خُصص أول مؤتمر عالمي لهذا الاختصاص الناشئ في ورشة عمل الذكاء الاصطناعي: تفسير الذكاء الاصطناعي (الذكاء الاصطناعي القابل للتفسير)، والذي عقد في عام 2017.[66]

قدَّم الاتحاد الأوروبي الحق الاجتماعي في التفسير في حقوق حماية البيانات العامة للتعامل مع المشكلات المحتملة الناجمة عن الأنظمة الأساسية المتزايدة في الأهمية. وبدأ تنفيذ التنظيم في عام 2018. ومع ذلك، يغطي هذا الحق الجانب المحلي للتفسير فقط. وفي الولايات المتحدة، تتطلب شركات التأمين القدرة على شرح قرارات التغطية والأسعار الخاصة بهم.[67] وفي فرنسا، يمنح قانون "لوي بور يون ريبوبليك نوميريك" الأفراد والمنظمات الحق في طلب واستلام المعلومات المتعلقة بتنفيذ الأنظمة الأساسية التي تعالج البيانات المتعلقة بهم، ويهدف هذا القانون إلى زيادة الشفافية وحماية الخصوصية في مجال التكنولوجيا الرقمية.

القيود

عدل

على الرغم من الجهود المبذولة لزيادة قابلية تفسير نماذج الذكاء الاصطناعي، فإنها لا تزال تعاني من عدة قيود.

الأطراف المعارضة

عدل

عمن خلال جعل نظام الذكاء الاصطناعي أكثر قابلية للشرح، نكشف أيضًا عن المزيد من عملياته الداخلية. على سبيل المثال، تقنية الشرح التي تعتمد على أهمية الميزات تحدد الميزات أو المتغيرات الأكثر أهمية في تحديد نتيجة النموذج، بينما تقنية العينات المؤثرة تحدد العينات التدريبية الأكثر تأثيراً في تحديد النتيجة، بالنظر إلى المدخل المحدد.[68] ويمكن للأطراف المعارضة الاستفادة من هذه المعرفة.

على سبيل المثال، يمكن لشركات المنافسة تكرار جوانب من النظام الأصلي للذكاء الاصطناعي في منتجاتهم الخاصة، ممّا يقلل من الميزة التنافسية.[69] كما أن نظام الذكاء الاصطناعي القابل للتفسير مُعرض أيضًا للتلاعب، أي التأثير بطريقة تعرقل الغرض المقصود به. وقدّمت دراسة مثالًا عن نظام الشرطة التنبؤي؛ ففي هذه الحالة، أولئك الذين يمكنهم بشكل محتمل "اللعب" بالنظام هم المجرمون الذين يخضعون لقرارات النظام. وفي هذه الدراسة، ناقش مطوّرو النظام مسألة العصابات الإجرامية التي تحاول الحصول على جوازات سفر بشكل غير قانوني، وأعربوا عن مخاوفهم من أنه إذا أعطيت لهؤلاء العصابات فكرة عن العوامل التي قد تسبب إنذاراً في عملية إصدار الجوازات، فسيكون بإمكانهم "إرسال خنازير غينيا" [تعبير يستخدم لوصف إرسال أشخاص أو كائنات لاختبار شيء ما] وفي النهاية يعرفون الثغرة التي تسمح لهم "الحصول بشكل موثوق على جوازات السفر أمام أعين السلطات".[70]

التعقيد التقني

عدل

ثمة عائق أساسي أمام جعل أنظمة الذكاء الاصطناعي قابلة للتفسير، وهو التعقيد التقني لمثل هذه الأنظمة. إذ غالبًا ما يفتقر المستخدمون النهائيون إلى المعرفة اللازمة لفهم البرامج من أي نوع. وتعتمد الطرق المستخدمة حاليًا لشرح الذكاء الاصطناعي بشكل رئيسي على الجوانب التقنية، بحيث تُوجه إلى مهندسي التعلم الآلي لأغراض تصحيح الأخطاء، بدلاً من المستخدمين النهائيين الذين يتأثرون في النهاية بالنظام. وبالتالي يتسبب "الفجوة بين العملية التفسيرية والهدف من الشفافية".[68] وتشمل الحلول المقترحة لمعالجة مشكلة التعقيد التقني؛ إما تعزيز تعليم الترميز لعامة الناس بحيث تكون التفسيرات التقنية في متناول المستخدمين النهائيين، أو تقديم تفسيرات في المصطلحات للأشخاص العاديين.[71]

يجب أن تتجنب الحلول الإفراط في التبسيط. من المهم العثور على توازن بين الدقة - أي مدى انعكاس الشرح لعملية نظام الذكاء الاصطناعي بدقة - والقابلية للتفسير- ومدى تفهم المستخدمون النهائيون للعملية. هذا توازن صعب الإيجاد، لأن تعقيد التعلم الآلي يجعل من الصعب على حتى مهندسي التعلم الآلي فهمه بشكل كامل، ناهيك عن غير الخبراء.[68]

التفاهم مقابل الثقة

عدل

الهدف من جعل نظم الذكاء الاصطناعي قابلة للتفسير للمستخدمين النهائيين هو زيادة الثقة في هذه الأنظمة، بما في ذلك "معالجة المخاوف المتعلقة بعدم العدالة والتأثيرات التمييزية".[71] ومع ذلك، حتى في حالة فهم المستخدمين النهائيين لنظام الذكاء الاصطناعي بشكل جيد، فإن ذلك لا يعني بالضرورة زيادة ثقتهم في النظام. ففي إحدى الدراسات، قُدمت تفسيرات من نوع الصندوق الأبيض والصندوق الأسود، وتفسيرات ثابتة وتفاعلية لأنظمة الذكاء الاصطناعي. وعلى الرغم من أن هذه التفسيرات أسهمت في زيادة الفهم الذاتي والموضوعي، إلا أنها لم تؤدي إلى زيادة مستوى الثقة في النظام، حيث بقيت مستويات الشك والتحفظ كما هي.[72]

كانت هذه النتيجة صحيحة خاصة في القرارات التي تؤثر بشكل كبير على المستخدم النهائي، مثل قبول الدراسات العليا. حيث وجد المشاركون أنه من الصعب الثقة في الخوارزميات نظرًا لصرامتها وعدم مرونتها، بالمقارنة مع صناع القرار البشر، حيث يمكن للبشر أن يأخذوا في الاعتبار الحالات الاستثنائية والاعتراضات على القرار الأولي بدلاً من التمسك بمجموعة من القواعد بشكل جامد.[73] وفي هذه الحالات، فإن القابلية للتفسير لن تؤدي بالضرورة إلى قبول المستخدمين النهائيين لاستخدام خوارزميات صنع القرارات، سواءً كان ذلك يعني اللجوء إلى طريقة أخرى لزيادة الثقة والقبول لخوارزميات صنع القرارات، أو التساؤل عن الحاجة إلى الاعتماد بشكل حصري على نظام الذكاء الاصطناعي لاتخاذ قرارات مؤثرة في المقام الأول.

الانتقادات

عدل

يقترح بعض العلماء النظر إلى الذكاء الاصطناعي القابل للتفسير على أنه هدف ثانوي بعد فعالية الذكاء الاصطناعي، وأن تشجيع تطوير الذكاء الاصطناعي القابل للتفسير (تفسيرية الذكاء الاصطناعي) الحصري قد يقتصر على وظائف الذكاء الاصطناعي بشكل أوسع.[74][75] وتبنى انتقادات الذكاء الاصطناعي القابل للتفسير على المفاهيم المتقدمة للاستدلال الآلي والتجريبي من الطب القائم على الأدلة للإشارة إلى أنه يمكن التحقق من صحة تقنيات الذكاء الاصطناعي سريريًا حتى عندما يتعذر فهم وظيفتها من مشغليها.[74]

علاوة على ذلك، ركزت أنظمة الذكاء الاصطناعي القابل للتفسير بشكل أساسي على جعل أنظمة الذكاء الاصطناعي مفهومة لممّارسي الذكاء الاصطناعي بدلاً من المستخدمين النهائيين، وكانت نتائجها على تصورات المستخدم لهذه الأنظمة.[76] ويدعو بعض الباحثين إلى استخدام نماذج التعلم الآلي القابلة للتفسير بشكل طبيعي، بدلاً من استخدام التفسيرات التي تنفذ بعد التعلم ويُنشئ فيها نموذج ثانوي لشرح النموذج الأول. يرجع ذلك جزئيًا إلى أن نماذج التفسير الثانوية تزيد من التعقيد في مسارات القرار، وجزئيًا لأنه غالبًا ما يكون غير واضح كيف يمكن للتفسير الثانوي أن يحاكي بدقة الحسابات التي تنفذها نموذج منفصل بالكامل.[18] وهناك وجهة نظر أخرى تقول إن الأهم هو أن تنجز المهمة المحددة بالتفسير، وإن كان التفسير قبل التعلم أو بعده لا يهم بشكل كبير. فإذا كانت طريقة التفسير الثانوية تساعد الطبيب على تشخيص السرطان بشكل أفضل، فإن مدى صحة أو خطأ التفسير الثانوي ليس بالأهمية الأساسية.

أهداف الذكاء الاصطناعي القابل للتفسير تشكل نوعاً من تشويش الضغط، والذي سيصبح أقل فعالية كلما زادت نماذج الذكاء الاصطناعي في عدد معلماتها. وبالإضافة إلى عوامل أخرى، يؤدي هذا إلى وجود حدّ نظري لقابلية للتفسير. وفي الواقع، قد يصعب مع مرور الوقت فهم النماذج الأكثر تعقيدًا وعدم القدرة على إعطاء تفسيرات شاملة لسلوكها.[77]

مقالات ذات صلة

عدل

المراجع

عدل
  1. ^ معجم البيانات والذكاء الاصطناعي (PDF) (بالعربية والإنجليزية)، الهيئة السعودية للبيانات والذكاء الاصطناعي، 2022، ص. 67، QID:Q111421033
  2. ^ Phillips، P. Jonathon؛ Hahn، Carina A.؛ Fontana، Peter C.؛ Yates، Amy N.؛ Greene، Kristen؛ Broniatowski، David A.؛ Przybocki، Mark A. (29 سبتمبر 2021). "Four Principles of Explainable Artificial Intelligence". DOI:10.6028/nist.ir.8312. مؤرشف من الأصل في 2023-02-14. {{استشهاد بدورية محكمة}}: الاستشهاد بدورية محكمة يطلب |دورية محكمة= (مساعدة)
  3. ^ Vilone، Giulia؛ Longo، Luca (2021). "Notions of explainability and evaluation approaches for explainable artificial intelligence". Information Fusion. December 2021 - Volume 76: 89–106. DOI:10.1016/j.inffus.2021.05.009. مؤرشف من الأصل في 2023-02-14.
  4. ^ Castelvecchi, Davide (6 Oct 2016). "Can we open the black box of AI?". Nature (بالإنجليزية). 538 (7623): 20–23. Bibcode:2016Natur.538...20C. DOI:10.1038/538020a. ISSN:0028-0836. PMID:27708329. Archived from the original on 2023-03-21.
  5. ^ Sample, Ian (5 Nov 2017). "Computer says no: why making AIs fair, accountable and transparent is crucial". The Guardian (بالإنجليزية). Archived from the original on 2022-10-10. Retrieved 2018-01-30.
  6. ^ Alizadeh، Fatemeh (2021). "I Don't Know, Is AI Also Used in Airbags?: An Empirical Study of Folk Concepts and People's Expectations of Current and Future Artificial Intelligence". Icom. ج. 20 ع. 1: 3–17. DOI:10.1515/icom-2021-0009. مؤرشف من الأصل في 2022-05-20.
  7. ^ ا ب Edwards، Lilian؛ Veale، Michael (2017). "Slave to the Algorithm? Why a 'Right to an Explanation' Is Probably Not the Remedy You Are Looking For". Duke Law and Technology Review. ج. 16: 18. SSRN:2972855.
  8. ^ Gunning, D.; Stefik, M.; Choi, J.; Miller, T.; Stumpf, S.; Yang, G.-Z. (18 Dec 2019). "XAI-Explainable artificial intelligence". Science Robotics (بالإنجليزية). 4 (37): eaay7120. DOI:10.1126/scirobotics.aay7120. ISSN:2470-9476. PMID:33137719. Archived from the original on 2022-03-15.
  9. ^ Rieg, Thilo; Frick, Janek; Baumgartl, Hermann; Buettner, Ricardo (17 Dec 2020). "Demonstration of the potential of white-box machine learning approaches to gain insights from cardiovascular disease electrocardiograms". PLOS ONE (بالإنجليزية). 15 (12): e0243615. Bibcode:2020PLoSO..1543615R. DOI:10.1371/journal.pone.0243615. ISSN:1932-6203. PMC:7746264. PMID:33332440.{{استشهاد بدورية محكمة}}: صيانة الاستشهاد: دوي مجاني غير معلم (link)
  10. ^ Vilone، Giulia؛ Longo، Luca (2021). "Classification of Explainable Artificial Intelligence Methods through Their Output Formats". Machine Learning and Knowledge Extraction. ج. 3 ع. 3: 615–661. DOI:10.3390/make3030032.{{استشهاد بدورية محكمة}}: صيانة الاستشهاد: دوي مجاني غير معلم (link)
  11. ^ Loyola-González، O. (2019). "Black-Box vs. White-Box: Understanding Their Advantages and Weaknesses From a Practical Point of View". IEEE Access. ج. 7: 154096–154113. DOI:10.1109/ACCESS.2019.2949286. ISSN:2169-3536.
  12. ^ ا ب Roscher، R.؛ Bohn، B.؛ Duarte، M. F.؛ Garcke، J. (2020). "Explainable Machine Learning for Scientific Insights and Discoveries". IEEE Access. ج. 8: 42200–42216. arXiv:1905.08883. DOI:10.1109/ACCESS.2020.2976199. ISSN:2169-3536.
  13. ^ ا ب Murdoch، W. James؛ Singh، Chandan؛ Kumbier، Karl؛ Abbasi-Asl، Reza؛ Yu، Bin (14 يناير 2019). "Interpretable machine learning: definitions, methods, and applications". Proceedings of the National Academy of Sciences of the United States of America. ج. 116 ع. 44: 22071–22080. arXiv:1901.04592. Bibcode:2019arXiv190104592M. DOI:10.1073/pnas.1900654116. PMC:6825274. PMID:31619572.
  14. ^ ا ب Lipton, Zachary C. (Jun 2018). "The Mythos of Model Interpretability: In machine learning, the concept of interpretability is both important and slippery". Queue (بالإنجليزية). 16 (3): 31–57. DOI:10.1145/3236386.3241340. ISSN:1542-7730.
  15. ^ "Explainable Artificial Intelligence (XAI): Concepts, Taxonomies, Opportunities and Challenges toward Responsible AI". DeepAI. 22 أكتوبر 2019. مؤرشف من الأصل في 2022-01-20. اطلع عليه بتاريخ 2021-01-13.
  16. ^ Montavon, Grégoire; Samek, Wojciech; Müller, Klaus-Robert (1 Feb 2018). "Methods for interpreting and understanding deep neural networks". Digital Signal Processing (بالإنجليزية). 73: 1–15. DOI:10.1016/j.dsp.2017.10.011. ISSN:1051-2004.
  17. ^ Adadi، A.؛ Berrada، M. (2018). "Peeking Inside the Black-Box: A Survey on Explainable Artificial Intelligence (XAI)". IEEE Access. ج. 6: 52138–52160. DOI:10.1109/ACCESS.2018.2870052. ISSN:2169-3536.
  18. ^ ا ب ج Rudin, Cynthia (2019). "Stop explaining black box machine learning models for high stakes decisions and use interpretable models instead". Nature Machine Intelligence (بالإنجليزية). 1 (5): 206–215. arXiv:1811.10154. DOI:10.1038/s42256-019-0048-x. ISSN:2522-5839. PMC:9122117. PMID:35603010.
  19. ^ Gunning, D.; Stefik, M.; Choi, J.; Miller, T.; Stumpf, S.; Yang, G.-Z. (18 Dec 2019). "XAI-Explainable artificial intelligence". Science Robotics (بالإنجليزية). 4 (37): eaay7120. DOI:10.1126/scirobotics.aay7120. ISSN:2470-9476. PMID:33137719. Archived from the original on 2022-03-15.
  20. ^ Wenninger، Simon؛ Kaymakci، Can؛ Wiethe، Christian (2022). "Explainable long-term building energy consumption prediction using QLattice". Elsevier BV. ج. 308: 118300. DOI:10.1016/j.apenergy.2021.118300. ISSN:0306-2619.
  21. ^ Christiansen، Michael؛ Wilstrup، Casper؛ Hedley، Paula L. (2022). "Explainable "white-box" machine learning is the way forward in preeclampsia screening". Elsevier BV. ج. 227 ع. 5: 791. DOI:10.1016/j.ajog.2022.06.057. ISSN:0002-9378. PMID:35779588.
  22. ^ Wilstup، Casper؛ Cave، Chris (15 يناير 2021)، Combining symbolic regression with the Cox proportional hazards model improves prediction of heart failure deaths، Cold Spring Harbor Laboratory، DOI:10.1101/2021.01.15.21249874
  23. ^ "How AI detectives are cracking open the black box of deep learning". Science (بالإنجليزية). 5 Jul 2017. Archived from the original on 2023-03-19. Retrieved 2018-01-30..
  24. ^ . ص. 210–215. {{استشهاد بمنشورات مؤتمر}}: الوسيط |title= غير موجود أو فارغ (مساعدة)صيانة الاستشهاد: url-status (link)
  25. ^ Bernal, Jose; Mazo, Claudia (11 Oct 2022). "Transparency of Artificial Intelligence in Healthcare: Insights from Professionals in Computing and Healthcare Worldwide". Applied Sciences (بالإنجليزية). 12 (20): 10228. DOI:10.3390/app122010228. ISSN:2076-3417.{{استشهاد بدورية محكمة}}: صيانة الاستشهاد: دوي مجاني غير معلم (link)
  26. ^ Antoniadi, Anna Markella; Du, Yuhan; Guendouz, Yasmine; Wei, Lan; Mazo, Claudia; Becker, Brett A.; Mooney, Catherine (Jan 2021). "Current Challenges and Future Opportunities for XAI in Machine Learning-Based Clinical Decision Support Systems: A Systematic Review". Applied Sciences (بالإنجليزية). 11 (11): 5088. DOI:10.3390/app11115088. ISSN:2076-3417.{{استشهاد بدورية محكمة}}: صيانة الاستشهاد: دوي مجاني غير معلم (link)
  27. ^ ا ب Sample, Ian (5 Nov 2017). "Computer says no: why making AIs fair, accountable and transparent is crucial". The Guardian (بالإنجليزية). Archived from the original on 2022-10-10. Retrieved 2018-01-30.
  28. ^ "DeepMind Has Simple Tests That Might Prevent Elon Musk's AI Apocalypse". Bloomberg.com (بالإنجليزية). 11 Dec 2017. Archived from the original on 2022-11-28. Retrieved 2018-01-30.
  29. ^ "Learning from Human Preferences". OpenAI Blog. 13 يونيو 2017. مؤرشف من الأصل في 2023-03-28. اطلع عليه بتاريخ 2018-01-30.
  30. ^ "Explainable Artificial Intelligence (XAI)". DARPA. DARPA. مؤرشف من الأصل في 2022-12-17. اطلع عليه بتاريخ 2017-07-17.
  31. ^ Biecek، Przemyslaw (23 يونيو 2018). "DALEX: explainers for complex predictive models". Journal of Machine Learning Research. ج. 19: 1–5. arXiv:1806.08915. Bibcode:2018arXiv180608915B.
  32. ^ . ص. 5787–5793. {{استشهاد بمنشورات مؤتمر}}: الوسيط |title= غير موجود أو فارغ (مساعدة)
  33. ^ Sokol، Kacper؛ Flach، Peter (2018). "Glass-Box: Explaining AI Decisions With Counterfactual Statements Through Conversation With a Voice-enabled Virtual Assistant". Proceedings of the Twenty-Seventh International Joint Conference on Artificial Intelligence. ص. 5868–5870. DOI:10.24963/ijcai.2018/865. ISBN:9780999241127.
  34. ^ Fagan، L. M.؛ Shortliffe، E. H.؛ Buchanan، B. G. (1980). "Computer-based medical decision making: from MYCIN to VM". Automedica. ج. 3 ع. 2: 97–108.
  35. ^ Clancey، William (1987). Knowledge-Based Tutoring: The GUIDON Program. Cambridge, Massachusetts: The MIT Press.
  36. ^ Brown، John S.؛ Burton، R. R.؛ De Kleer، Johan (1982). "Pedagogical, natural language, and knowledge engineering techniques in SOPHIE I, II, and III". Intelligent Tutoring Systems. Academic Press. ISBN:0-12-648680-8.
  37. ^ Bareiss، Ray؛ Porter، Bruce؛ Weir، Craig؛ Holte، Robert (1990). "Protos: An Exemplar-Based Learning Apprentice". Machine Learning. Morgan Kaufmann Publishers Inc. ج. 3. ص. 112–139. ISBN:1-55860-119-8.
  38. ^ Bareiss, Ray (1989). Exemplar-Based Knowledge Acquisition: A Unified Approach to Concept Representation, Classification, and Learning. Perspectives in Artificial Intelligence.
  39. ^ Van Lent، M.؛ Fisher، W.؛ Mancuso، M. (يوليو 2004). "An explainable artificial intelligence system for small-unit tactical behavior". Proceedings of the National Conference on Artificial Intelligence. San Jose, CA: AAAI Press. ص. 900–907. ISBN:0262511835.
  40. ^ Russell، Stuart؛ Norvig، Peter (2003). Artificial Intelligence: A Modern Approach. Prentice Hall Series in Artificial Intelligence (ط. Second). Upper Saddle River, New Jersey: Prentice Hall, Pearson Education. ISBN:0-13-790395-2.
  41. ^ Tickle، A. B.؛ Andrews، R.؛ Golea، M.؛ Diederich، J. (نوفمبر 1998). "The truth will come to light: directions and challenges in extracting the knowledge embedded within trained artificial neural networks". IEEE Transactions on Neural Networks. ج. 9 ع. 6: 1057–1068. DOI:10.1109/72.728352. ISSN:1045-9227. PMID:18255792.
  42. ^ "Accenture Unveils Tool to Help Companies Insure Their AI Is Fair". Bloomberg.com (بالإنجليزية). Jun 2018. Archived from the original on 2022-12-03. Retrieved 2018-08-05.
  43. ^ Minsky, et al., "The Society of Intelligent Veillance" IEEE ISTAS2013, pages 13-17.
  44. ^ Mukherjee، Siddhartha (27 مارس 2017). "A.I. Versus M.D." The New Yorker. مؤرشف من الأصل في 2023-01-15. اطلع عليه بتاريخ 2018-01-30.
  45. ^ Csiszár, Orsolya; Csiszár, Gábor; Dombi, József (8 Jul 2020). "Interpretable neural networks based on continuous-valued logic and multicriteria decision operators". Knowledge-Based Systems (بالإنجليزية). 199: 105972. arXiv:1910.02486. DOI:10.1016/j.knosys.2020.105972. ISSN:0950-7051.
  46. ^ Dombi, József; Csiszár, Orsolya (2021). "Explainable Neural Networks Based on Fuzzy Logic and Multi-criteria Decision Tools". Studies in Fuzziness and Soft Computing (بالإنجليزية البريطانية). 408. DOI:10.1007/978-3-030-72280-7. ISBN:978-3-030-72279-1. ISSN:1434-9922. Archived from the original on 2023-02-14.
  47. ^ Bach، Sebastian؛ Binder، Alexander؛ Montavon، Grégoire؛ Klauschen، Frederick؛ Müller، Klaus-Robert؛ Samek، Wojciech (10 يوليو 2015). "On Pixel-Wise Explanations for Non-Linear Classifier Decisions by Layer-Wise Relevance Propagation". PLOS ONE. ج. 10 ع. 7: e0130140. Bibcode:2015PLoSO..1030140B. DOI:10.1371/journal.pone.0130140. ISSN:1932-6203. PMC:4498753. PMID:26161953.{{استشهاد بدورية محكمة}}: صيانة الاستشهاد: دوي مجاني غير معلم (link)
  48. ^ Sample, Ian (5 Nov 2017). "Computer says no: why making AIs fair, accountable and transparent is crucial". The Guardian (بالإنجليزية). Archived from the original on 2022-10-10. Retrieved 2018-08-05.
  49. ^ Martens، David؛ Provost، Foster (2014). "Explaining data-driven document classifications" (PDF). MIS Quarterly. ج. 38: 73–99. DOI:10.25300/MISQ/2014/38.1.04. مؤرشف من الأصل (PDF) في 2022-09-24.
  50. ^ ""Why Should I Trust You?" | Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining" (بالإنجليزية). DOI:10.1145/2939672.2939778. {{استشهاد بدورية محكمة}}: الاستشهاد بدورية محكمة يطلب |دورية محكمة= (help)
  51. ^ Lundberg، Scott M؛ Lee، Su-In (2017)، Guyon؛ Luxburg، U. V.؛ Bengio، S.؛ Wallach، H. (المحررون)، "A Unified Approach to Interpreting Model Predictions" (PDF)، Advances in Neural Information Processing Systems 30، Curran Associates, Inc.، ص. 4765–4774، arXiv:1705.07874، Bibcode:2017arXiv170507874L، مؤرشف من الأصل (PDF) في 2023-03-20، اطلع عليه بتاريخ 2020-03-13
  52. ^ Carter, Brandon; Mueller, Jonas; Jain, Siddhartha; Gifford, David (11 Apr 2019). "What made you do this? Understanding black-box decisions with sufficient input subsets". The 22nd International Conference on Artificial Intelligence and Statistics (بالإنجليزية): 567–576. Archived from the original on 2022-09-28.
  53. ^ Shrikumar, Avanti; Greenside, Peyton; Kundaje, Anshul (17 Jul 2017). "Learning Important Features Through Propagating Activation Differences". International Conference on Machine Learning (بالإنجليزية): 3145–3153. Archived from the original on 2023-03-15.
  54. ^ "Axiomatic attribution for deep networks | Proceedings of the 34th International Conference on Machine Learning - Volume 70". Icml'17 (بالإنجليزية). 6 Aug 2017: 3319–3328. Archived from the original on 2022-05-20. Retrieved 2020-03-13. {{استشهاد بدورية محكمة}}: الاستشهاد بدورية محكمة يطلب |دورية محكمة= (help)
  55. ^ Aivodji, Ulrich; Arai, Hiromi; Fortineau, Olivier; Gambs, Sébastien; Hara, Satoshi; Tapp, Alain (24 May 2019). "Fairwashing: the risk of rationalization". PMLR (بالإنجليزية): 161–170. arXiv:1901.09749. Archived from the original on 2022-08-09.
  56. ^ Le Merrer, Erwan; Trédan, Gilles (Sep 2020). "Remote explainability faces the bouncer problem". Nature Machine Intelligence (بالإنجليزية). 2 (9): 529–539. arXiv:1910.01432. DOI:10.1038/s42256-020-0216-z. ISSN:2522-5839. Archived from the original on 2023-02-14.
  57. ^ Singh, Chandan; Nasseri, Keyan; Tan, Yan Shuo; Tang, Tiffany; Yu, Bin (4 May 2021). "imodels: a python package for fitting interpretable models". Journal of Open Source Software (بالإنجليزية). 6 (61): 3192. Bibcode:2021JOSS....6.3192S. DOI:10.21105/joss.03192. ISSN:2475-9066. Archived from the original on 2023-03-05.
  58. ^ Vidal, Thibaut; Schiffer, Maximilian (2020). "Born-Again Tree Ensembles". PMLR (بالإنجليزية). 119: 9743–9753. arXiv:2003.11132. Archived from the original on 2023-03-06.
  59. ^ Bostrom, N., & Yudkowsky, E. (2014). The ethics of artificial intelligence. The Cambridge Handbook of Artificial Intelligence, 316-334. نسخة محفوظة 2022-12-17 على موقع واي باك مشين.
  60. ^ "FAT* Conference". مؤرشف من الأصل في 2023-01-09.
  61. ^ "Computer programs recognise white men better than black women". The Economist (بالإنجليزية). 2018. Archived from the original on 2022-07-12. Retrieved 2018-08-05.
  62. ^ Olah, Chris; Cammarata, Nick; Schubert, Ludwig; Goh, Gabriel; Petrov, Michael; Carter, Shan (10 Mar 2020). "Zoom In: An Introduction to Circuits". Distill (بالإنجليزية). 5 (3): e00024.001. DOI:10.23915/distill.00024.001. ISSN:2476-0757. Archived from the original on 2023-03-30.
  63. ^ Li, Yixuan; Yosinski, Jason; Clune, Jeff; Lipson, Hod; Hopcroft, John (8 Dec 2015). "Convergent Learning: Do different neural networks learn the same representations?". PMLR (بالإنجليزية): 196–212. Archived from the original on 2023-03-16.
  64. ^ Hendricks, Lisa Anne; Akata, Zeynep; Rohrbach, Marcus; Donahue, Jeff; Schiele, Bernt; Darrell, Trevor (2016). "Generating Visual Explanations". Springer International Publishing. Lecture Notes in Computer Science (بالإنجليزية). 9908: 3–19. arXiv:1603.08507. DOI:10.1007/978-3-319-46493-0_1. ISBN:978-3-319-46492-3. Archived from the original on 2023-03-16.
  65. ^ Koh, Pang Wei; Liang, Percy (17 Jul 2017). "Understanding Black-box Predictions via Influence Functions". PMLR (بالإنجليزية): 1885–1894. arXiv:1703.04730. Archived from the original on 2022-07-12.
  66. ^ "IJCAI 2017 Workshop on Explainable Artificial Intelligence (XAI)" (PDF). Earthlink. IJCAI. مؤرشف من الأصل (PDF) في 2019-04-04. اطلع عليه بتاريخ 2017-07-17.
  67. ^ Kahn، Jeremy (12 ديسمبر 2018). "Artificial Intelligence Has Some Explaining to Do". بلومبيرغ بيزنس ويك. مؤرشف من الأصل في 2022-07-23. اطلع عليه بتاريخ 2018-12-17.
  68. ^ ا ب ج Bhatt، Umang؛ Xiang، Alice؛ Sharma، Shubham؛ Weller، Adrian؛ Taly، Ankur؛ Jia، Yunhan؛ Ghosh، Joydeep؛ Puri، Richir؛ M.F. Moura، José (2022). "Explainable Machine Learning in Deployment". Proceedings of the 2020 Conference on Fairness, Accountability, and Transparency. Proceedings of the 2020 Conference on Fairness, Accountability, and Transparency. ص. 648–657. DOI:10.1145/3351095.3375624. ISBN:9781450369367.
  69. ^ Burrel، Jenna (2016). "How the machine 'thinks': Understanding opacity in machine learning algorithms". Big Data & Society. ج. 3 ع. 1. DOI:10.1177/2053951715622512. مؤرشف من الأصل في 2022-12-26. {{استشهاد بدورية محكمة}}: الاستشهاد بدورية محكمة يطلب |دورية محكمة= (مساعدة)
  70. ^ Veale، Michael؛ Van Kleek، Max؛ Binns، Reuben (2018). "Fairness and Accountability Design Needs for Algorithmic Support in High-Stakes Public Sector Decision-Making". Proceedings of the 2018 CHI Conference on Human Factors in Computing Systems. Proceedings of the 2018 CHI Conference on Human Factors in Computing Systems. ج. 40. ص. 1–14. DOI:10.1145/3173574.3174014. ISBN:9781450356206.
  71. ^ ا ب Burrel، Jenna (2016). "How the machine 'thinks': Understanding opacity in machine learning algorithms". Big Data & Society. ج. 3 ع. 1. DOI:10.1177/2053951715622512. مؤرشف من الأصل في 2022-12-26. {{استشهاد بدورية محكمة}}: الاستشهاد بدورية محكمة يطلب |دورية محكمة= (مساعدة)
  72. ^ Cheng، Hao-Fei؛ Wang، Ruotang؛ Zhang، Zheng؛ O’Connell، Fiona؛ Gray، Terrance؛ Harper، F. Maxwell؛ Zhu، Haiyi (2019). Explaining Decision-Making Algorithms through UI: Strategies to Help Non-Expert Stakeholders. Proceedings of the 2019 CHI Conference on Human Factors in Computing Systems. ج. 559. ص. 1–12. DOI:10.1145/3290605.3300789. ISBN:9781450359702. مؤرشف من الأصل في 2023-02-10.
  73. ^ Cheng، Hao-Fei؛ Wang، Ruotang؛ Zhang، Zheng؛ O’Connell، Fiona؛ Gray، Terrance؛ Harper، F. Maxwell؛ Zhu، Haiyi (2019). Explaining Decision-Making Algorithms through UI: Strategies to Help Non-Expert Stakeholders. Proceedings of the 2019 CHI Conference on Human Factors in Computing Systems. ج. 559. ص. 1–12. DOI:10.1145/3290605.3300789. ISBN:9781450359702. مؤرشف من الأصل في 2023-02-10.
  74. ^ ا ب McCoy, Liam G.; Brenna, Connor T. A.; Chen, Stacy S.; Vold, Karina; Das, Sunit (5 Nov 2021). "Believing in black boxes: machine learning for healthcare does not need explainability to be evidence-based". Journal of Clinical Epidemiology (بالإنجليزية). 142 (Online ahead of print): 252–257. DOI:10.1016/j.jclinepi.2021.11.001. ISSN:0895-4356. PMID:34748907. Archived from the original on 2021-12-15.
  75. ^ Ghassemi, Marzyeh; Oakden-Rayner, Luke; Beam, Andrew L. (1 Nov 2021). "The false hope of current approaches to explainable artificial intelligence in health care". The Lancet Digital Health (بالإنجليزية). 3 (11): e745–e750. DOI:10.1016/S2589-7500(21)00208-9. ISSN:2589-7500. PMID:34711379. Archived from the original on 2021-12-15.
  76. ^ Alizadeh، Fatemeh (2020). "eXplainable AI: take one step back, move two steps forward". Mensch und Computer. مؤرشف من الأصل في 2022-05-20.
  77. ^ Sarkar، Advait (2022). "Is explainable AI a race against model complexity?" (PDF). Workshop on Transparency and Explanations in Smart Systems (TeXSS), in Conjunction with ACM Intelligent User Interfaces (IUI 2022): 192–199. arXiv:2205.10119. مؤرشف من الأصل (PDF) في 2023-01-16 – عبر CEUR Workshop Proceedings.