ويكيبيديا

تعلم متعمق

التعلّم المُتعمّق أو التعلّم العميق[1] هو مجال بحث جديد يتناول إيجاد نظريات وخوارزميات تتيح للآلة أن تتعلم بنفسها عن طريق محاكاة الخلايا العصبية في جسم الإنسان.[2][3] وأحد فروع العلوم التي تتناول علوم الذكاء الاصطناعي.[4] يعد من فرع من فروع علوم التعلم الآلي،[5] تركز معظم أبحاث التعلم المتعمق على إيجاد أساليب استنباط درجة عالية من المتجردات بتحليل مجموعة بيانات ضخمة، [6][7] باستخدام متحولات خطية وغير خطية.[8][9] تُشير صفة "عميق" إلى استخدام طبقاتٍ مُتعددةٍ (تتراوح من ثلاث طبقاتٍ إلى عدة مئاتٍ أو آلاف) في الشبكة.[10] يُمكن أن تكون الأساليب المُستخدمة إما مُراقبةً أو شبه مُراقبةٍ أو غير مُراقبة.[11][12]

كيف يعتبر التعلم العميق جزءًا من التعلم الآلي وكيف يعتبر التعلم الآلي جزءًا من الذكاء الاصطناعي (AI).

تشمل بعض بنى شبكات التعلم العميق الشائعة الشبكات المُتصلة بالكامل، وشبكات المعتقدات العميقة، والشبكات العصبية الالتفافية، والشبكات العصبية المُتكررة، والشبكات التوليدية التنافسية، والمُحولات، وحقول الإشعاع العصبي.[13] طُبقت هذه البنى على مجالاتٍ تشمل الرؤية الحاسوبية، والتعرف على الكلام، ومعالجة اللغة الطبيعية، والترجمة الآلية، والمعلوماتية الحيوية، وتصميم الأدوية، وتحليل الصور الطبية، وعلم المناخ، وفحص المواد، وبرامج ألعاب الطاولة، حيث أنتجت نتائج مُقارنةً بِأداء الخبراء البشرِ، وفي بعض الحالات تتجاوزُه.[14][15]

استُلهِمَت الأشكال المُبكرة من الشبكات العصبية من مُعالجة المعلومات وعُقَد الاتصال المُوزعة في الأنظمة البيولوجية، وخاصةً الدماغ البشري. ومع ذلك، لا تهدف الشبكات العصبية الحالية إلى نمذجة وظيفة الدماغ لِلكائنات الحية، ويُنظر إليها عمومًا على أنها نماذج ذات جودةٍ مُنخفضةٍ لِهذا الغرض.[16]

الفكرة الاساسية

عدل

يمكن توصيف أي كائن بطرق عديدة متنوعة. مثلا، يمكن توصيف صورة ما على اساس متجهي لدرجة الضياء في كل وحدة بكسل أو بطريقة متجردة على اساس مجموع الحواف والمناطق التي تشكل الصورة. هناك العديد من الاساليب الأخرى التي يمكن استعمالها لتوصيف هذه الصورة. وتشير الدراسات ان بعض هذه الاساليب هي أفضل من غيرها في تبسيط تعلم الآلة (مثل ملاحظة الوجه أو ملاحظة التعابير).[17] ومن الاهداف المتوقعة في دراسة التعلم المتعمق هو استبدال ميزات التعلم الالي التي يتم تحديدها بشريا بميزات يتم انتاجها بواسطة الآلة نفسها عن طريق خوارزميات فعالة في استنباط الميزات بصورة ألية أو نصف آلية.[18]

تعتمد ابحاث التعلم المتعمق على الاكتشافات في علوم الاعصاب بشكل كبير وخاصة في مجال فهم العمليات الترميزة التي يقوم بها النظام العصبي في تحديد العلاقات المختلفة بين المحفزات والنشاطات الدماغية.[19]

نظرة عامة

عدل

تستند مُعظم نماذج التعلم العميق الحديثة إلى شبكات عصبية مُتعددة الطبقات مثل الشبكات العصبية التلافيفية والمُحولات، على الرغم من أنها قد تتضمن أيضًا صيغًا اقتراحيةً أو مُتغيرات كامنةً مُنظمةً في طبقات في نماذج توليدية عميقة مثل العُقَد في شبكات الاعتقاد العميق وآلات بولتزمان العميقة.[20]

بشكل أساسي، يُشير التعلم العميق إلى فئة من خوارزميات التعلم الآلي حيث يتم استخدام تسلسل هرمي من الطبقات لِتحويل بيانات الإدخال إلى تمثيل أكثر تجريدًا وتركيبًا بشكل طفيف. على سبيل المثال، في نموذج التعرف على الصور، قد يكون الإدخال الخام عبارةً عن صورة (مُمثلةٌ كمُوتر من البكسلات). قد تُحاول طبقة التمثيل الأولى تحديد الأشكال الأساسية مثل الخطوط والدوائر، وقد تُؤلف طبقة التمثيل الثانية ترتيبات الحواف وتُشفرها، وقد تُشفر طبقة التمثيل الثالثة أنفًا وعينين، وقد تُدرك طبقة التمثيل الرابعة أن الصورة تحتوي على وجه.

الأهم من ذلك، أن عملية التعلم العميق يُمكنُها تعلم الميزات التي يجب وضعُها على النحو الأمثل في أي مستوى بمفردها. قبل التعلم العميق، غالبًا ما كانت تقنيات التعلم الآلي تنطوي على هندسة ميزات يدوية لِتحويل البيانات إلى تمثيل أكثر مُلاءمةً لِخوارزمية التصنيف لِلعمل عليها. في نهج التعلم العميق، لا يتم تصميم الميزات يدويًا، ويَكتشف النموذج تمثيلات الميزات المُفيدة من البيانات تلقائيًا. هذا لا يُلغي الحاجة إلى الضبط اليدوي؛ على سبيل المثال، يُمكن أن تُوفر أعدادٌ مُتفاوتةٌ من الطبقات وأحجام الطبقات درجات مُختلفةً من التجريد.[21][22]

تُشير كلمة "عميق" في "التعلم العميق" إلى عدد الطبقات التي يتم من خلالِها تحويل البيانات. بِشكل أكثر دقةً، تتمتع أنظمة التعلم العميق بِعمق كبير في مسار تخصيص الرصيد (CAP). مسار تخصيص الرصيد هو سلسلة التحولات من الإدخال إلى الإخراج. يصف مسار تخصيص الرصيد الاتصالات السببية المُحتملة بين الإدخال والإخراج. لِشَبكة عصبية للتغذية الأمامية، فإن عمق مسارات تخصيص الرصيد هو عمق الشبكة وهو عدد الطبقات المخفية زائد واحد (حيث يتم تحديد معلمات طبقة الإخراج أيضًا). بالنسبة لِلشبكات العصبية المُتكررة، التي قد ينتشر فيها إشارةٌ عبر طبقة أكثر من مرة، فإن عمق مسار تخصيص الرصيد غير محدود مُحتملًا.[23]

لا يوجد حدٌ مُتفقٌ عليه عالميًا للعمق يفصل التعلم الضحل عن التعلم العميق، لكن مُعظم الباحثين يتفقون على أن التعلم العميق ينطوي على عمق مسار تخصيص الرصيد أعلى من اثنين. لقد ثبت أن مسار تخصيص الرصيد ذي العمق اثنين هو مُقربٌ شاملٌ بِمعنى أنه يُمكنُه مُحاكاة أي دالة.[24] بعد ذلك، لا تُضيف المزيد من الطبقات إلى قدرة مُقرب الدالة لِلشبكة. النماذج العميقة (مسار تخصيص الرصيد > اثنين) قادرةٌ على استخراج ميزات أفضل من النماذج الضحلة، وبالتالي، تُساعد الطبقات الإضافية في تعلم الميزات بفعالية.

يُمكن بناء بنى التعلم العميق باستخدام خوارزمية طبقة تلو الأخرى.[25] يُساعد التعلم العميق على فك تشابك هذه التجريدات واختيار الميزات التي تُحسن الأداء.[4]

يُمكن تطبيق خوارزميات التعلم العميق على مهام التعلم غير المُراقب. تُعد هذه فائدةً مهمةً لأن البيانات غير المُعلمة أكثر وفرةً من البيانات المُعلمة. من أمثلة البُنى العميقة التي يُمكن تدريبُها بطريقة غير مُراقبة شبكات الاعتقاد العميق.[4][26]

تم تقديم مُصطلح التعلم العميق إلى مجتمع التعلم الآلي بواسطة رينا ديختر في عام 1986، [27] وإلى الشبكات العصبية الاصطناعية بواسطة إيغور آيزنبرغ وزملائه في عام 2000، في سياق الخلايا العصبية ذات عتبة القيمة المنطقية.[28][29] على الرغم من أن تاريخ ظهورِه يبدو أكثر تعقيدًا.[30]

التفسيرات

عدل

تفسر الشبكات العصبية العميقة عمومًا من حيث مبرهنة التقريب العام [31][32] أو استدلال بايزي.[33]

تتعلق نظرية التقريب الشاملة الكلاسيكية بقدرة الشبكات العصبية للتغذية الأمامية ذات طبقة واحدة مخفية ذات حجم محدود على تقريب الدوال المستمرة.[32][34] في عام 1989، نشر جورج سيبيكو أول دليل لدوال التنشيط السينية، [35] وتم تعميمه على بنى متعددة الطبقات للتغذية الأمامية في عام 1991 بواسطة كورت هورنيك.[31] أظهر العمل الأخير أيضًا أن التقريب الشامل ينطبق أيضًا على دوال التنشيط غير المحدودة مثل وحدة كونييهيكو فوكوشيما الخطية المصححة.[36][37]

تتعلق نظرية التقريب الشاملة للشبكات العصبية العميقة بقدرة الشبكات ذات العرض المحدد ولكن يسمح للعمق بالنمو. أثبت لو وآخرون [38] أنه إذا كان عرض شبكة عصبية عميقة ذات تنشيط وحدة خطية مصححة أكبر بشكل صارم من بعد الإدخال، فإن الشبكة يمكنها تقريب أي دالة قابلة للتكامل للوبيغ؛ إذا كان العرض أصغر من أو يساوي العرض بعد الإدخال، فإن الشبكة العصبية العميقة ليست مقربًا شاملًا.

يشتق التفسير الاحتمالي، [39] من مجال التعلم الآلي. ويتميز بالاستدلال، [40] بالإضافة إلى مفاهيم التحسين للتدريب والاختبار، والمتعلقة بالتأقلم والتعميم على التوالي. وبشكل أكثر تحديدًا، يأخذ التفسير الاحتمالي في الاعتبار اللاخطية التنشيطية كدالة توزيع تراكمية.[39] أدى التفسير الاحتمالي إلى إدخال التسرب كمنظم في الشبكات العصبية. تم تقديم التفسير الاحتمالي من قبل باحثين بما في ذلك هوبفيلد وويدرو وناريندرا، وتم تعميمه في دراسات استقصائية مثل تلك التي أجراها كريستوفر بيشوب.[39][41]

التاريخ

عدل

هناك نوعان من الشبكات العصبية الاصطناعية (ANN): الشبكة العصبية للتغذية الأمامية (FNN) أو المدرك المتعدد الطبقات (MLP) والشبكات العصبية المتكررة (RNN). تحتوي الشبكات العصبية المتكررة على دورات في هيكل اتصالها، بينما لا تحتوي الشبكات العصبية للتغذية الأمامية على ذلك. في عشرينيات القرن الماضي، ابتكر فيلهلم لينز وإرنست إيسينغ نموذج إيزينج [42][43] الذي هو في الأساس بنية شبكة عصبية متكررة غير متعلمة تتكون من عناصر عتبة تشبه الخلايا العصبية. في عام 1972، جعل شونيتشي أماري هذه البنية قابلةً للتكيف.[44][45] أعاد جون هوبفيلد نشر شبكته العصبية المتكررة المتعلمة في عام 1982.[46] نشر كاورو ناكانو شبكات عصبية متكررة مبكرةً أخرى في عام 1971.[47][48] في عام 1948، أنتج آلان تورينج أعمالًا حول "الآلات الذكية" لكنها لم تنشر في حياته، [49] وأحتوت على "أفكار متعلقة بالتطور الاصطناعي وتعلم الشبكات العصبية المتكررة".[45]

اقترح فرانك روزنبلات (1958) [50] المدرك، وهو شبكة عصبية للتغذية الأمامية ذات ثلاث طبقات: طبقة إدخال، وطبقة مخفية ذات أوزان عشوائية لم تتعلم، وطبقة إخراج. نشر لاحقًا كتابًا في عام 1962 قدم أيضًا متغيرات وتجارب حاسوبية، بما في ذلك إصدار يحتوي على مدركات ذات أربع طبقات "مع شبكات متكيفة قبل النهائية" حيث تتعلم الطبقتان الأخيرتان الأوزان (هنا ينسب الفضل إلى إتش. دي. بلوك وبي. دبليو. نايت).[51]:القسم 16: يشير الكتاب إلى شبكة سابقة بواسطة آر. دي. جوزيف (1960) [52] "مكافئة وظيفيًا لتغير" في هذا النظام ذي الأربع طبقات (يذكر الكتاب جوزيف أكثر من 30 مرة). هل ينبغي إذن اعتبار جوزيف منشئ المدركات المتعددة الطبقات المتكيفة المناسبة مع وحدات مخفية متعلمة؟ لسوء الحظ، لم تكن خوارزمية التعلم وظيفية، وسقطت في طي النسيان.

كانت أول خوارزمية تعلم عميق عاملة هي طريقة المجموعة لمعالجة البيانات، وهي طريقة لتدريب الشبكات العصبية العميقة بشكل تعسفي، والتي نشرها أليكسي إيفاخنينكو [الإنجليزية] ولابا في عام 1965. لقد اعتبروها شكلاً من أشكال الانحدار متعدد الحدود، [53] أو تعميمًا لمدرك روزنبلات.[54] وصفت ورقة بحثية عام 1971 شبكةً عميقةً ذات ثماني طبقات تم تدريبها بهذه الطريقة، [55] والتي تستند إلى التدريب طبقةً تلو الأخرى من خلال تحليل الانحدار. يتم تقليم الوحدات المخفية الزائدة باستخدام مجموعة تحقق منفصلة. نظرًا لأن دوال تنشيط العقد هي متعددات حدود كولموغوروف-غابور، فقد كانت هذه أيضًا أول الشبكات العميقة ذات وحدات ضربية أو "بوابات".[45]

نشر شونيتشي أماري أول مدرك متعدد الطبقات للتعلم العميق مدرب بواسطة الانحدار التدريجي العشوائي [56] في عام 1967.[57] في التجارب الحاسوبية التي أجراها سايتو، الطالب لدى أماري، تعلم مدرك متعدد الطبقات من خمس طبقات ذو طبقتين قابلتين للتعديل تمثيلات داخليةً لتصنيف فئات الأنماط غير القابلة للفصل خطيًا.[45] جعلت التطورات اللاحقة في الأجهزة وضبط المعلمات الفائقة من الانحدار التدريجي العشوائي من طرف إلى طرف تقنية التدريب المهيمنة حاليًا.

في عام 1969، قدم كونيهيكو فوكوشيما دالة تنشيط ReLU (وحدة التقويم الخطية) تابع التفعيل.[36][45] أصبح المقوم هو دالة التنشيط الأكثر شيوعًا للتعلم العميق.[58]

بدأت بنى التعلم العميق للشبكات العصبية التلافيفية (CNNs) مع طبقات تلافيفية وطبقات للتقليل من العينات مع نيوكونييترون الذي قدمه كونيهيكو فوكوشيما في عام 1979، على الرغم من عدم تدريبه بواسطة الانتشار العكسي.[59][60]

الانتشار العكسي هو تطبيق فعال لقاعدة السلسلة التي اشتقها غوتفريد فيلهلم لايبنتس في عام 1673 [61] على شبكات العقد القابلة للاشتقاق. تم تقديم مصطلح "أخطاء الانتشار العكسي" في الواقع في عام 1962 بواسطة روزنبلات، [51] لكنه لم يكن يعرف كيفية تطبيق ذلك، على الرغم من أن هنري جيه كيلي كان لديه مقدمة مستمرة للانتشار العكسي في عام 1960 في سياق نظرية التحكم.[62] نشر الشكل الحديث للانتشار العكسي لأول مرة في أطروحة الماجستير لسيبو ليناينما (1970).[45][63][64] أعاد جي. إم. أوستروفسكي وآخرون نشرها في عام 1971.[65][66] طبق بول ويربوس الانتشار العكسي على الشبكات العصبية في عام 1982 [67] (أطروحة الدكتوراه الخاصة به لعام 1974، التي أعيد طبعها في كتاب عام 1994، [68] لم تصف الخوارزمية بعد [66]). في عام 1986، عمم ديفيد إي روميلهارت وآخرون الانتشار العكسي لكنهم لم يستشهدوا بالعمل الأصلي.[69][70]

الثمانينيات والتسعينيات

عدل

تمّ تقديم الشّبكة العصبية ذات التّأخير الزمنيّ (TDNN) في عام 1987 بواسطة ألكسندر وايبل لتطبيق الشّبكات العصبية التلافيفية على التعرّف على الفونيم. استخدمت التّلافيف ومشاركة الوزن والانتشار العكسيّ.[71][72] في عام 1988، طبّق وي تشانغ شبكةً عصبيةً تلافيفيةً مدرّبةً بالانتشار العكسيّ على التعرّف على الحروف الأبجدية.[73] في عام 1989، ابتكر يان ليكون وآخرون شبكةً عصبيةً تلافيفيةً تسمّى LeNet للتعرّف على الرموز البريدية المكتوبة بخطّ اليد على البريد. استغرق التّدريب 3 أيام.[74] في عام 1990، طبّق وي تشانغ شبكةً عصبيةً تلافيفيةً على أجهزة الحوسبة البصرية.[75] في عام 1991، تمّ تطبيق شبكة عصبية تلافيفية على تجزئة كائن الصّورة الطبية [76] واكتشاف سرطان الثّدي في صور الثّدي بالأشعّة السّينية.[77] تمّ تطبيق LeNet-5 (في 1998)، وهي شبكة عصبية تلافيفية من 7 مستويات بواسطة يان ليكون وآخرون، تصنّف الأرقام، بواسطة العديد من البنوك للتعرّف على الأرقام المكتوبة بخطّ اليد على الشّيكات المرقمنة في صور بدقّة 32 × 32 بكسل.[78]

تمّ تطوير الشّبكات العصبية المتكرّرة (RNN) [42][44] بشكل أكبر في الثمانينيات. يتمّ استخدام التّكرار لمعالجة التّسلسل، وعندما يتمّ فكّ شبكة متكرّرة، فإنّها تشبه رياضيًا طبقةً تغذيةً أماميةً عميقة. وبالتّالي، فإنّ لها خصائص وقضايا متشابهة، وكان لتطوّراتها تأثيرات متبادلة. في الشّبكات العصبية المتكرّرة، كان هناك عملان مؤثّران مبكّران هما شبكة جوردان في 1986، [79] وشبكة إلمان في 1990، [80] التي طبّقت الشّبكات العصبية المتكرّرة لدراسة المشكلات في علم النفس المعرفي.

في الثمانينيات، لم يكن الانتشار العكسيّ يعمل بشكل جيّد مع التعلّم العميق ذي مسارات تخصيص الرّصيد الطويلة. للتغلّب على هذه المشكلة، في عام 1991، اقترح يورغن شميدهوبر تسلسلًا هرميًا من الشّبكات العصبية المتكرّرة مدرّبةً مسبقًا مستوىً واحدًا في كلّ مرّة بواسطة التعلّم الذّاتيّ الإشراف حيث تحاول كلّ شبكة عصبية متكرّرة التنبّؤ بإدخالها التّالي، وهو الإدخال التّالي غير المتوقّع للشّبكة العصبية المتكرّرة أدناه.[81][82] يستخدم هذا "الضّاغط التّاريخيّ العصبيّ" التّشفير التنبّئيّ لتعلّم التّمثيلات الدّاخلية على نطاقات زمنية متعدّدة التنظيم الذّاتيّ. يمكن أن يسهّل هذا بشكل كبير التعلّم العميق في المراحل التّالية. يمكن دمج التسلسل الهرميّ للشّبكات العصبية المتكرّرة في شبكة عصبية متكرّرة واحدة، عن طريق تقطير شبكة تجميع ذات مستوىً أعلى إلى شبكة تشغيل آليّ ذات مستوىً أدنى.[81][82] في عام 1993، حلّ ضّاغط تاريخيّ عصبيّ مهمّة "تعلّم عميق جدًا" تطلّبت أكثر من 1000 طبقة لاحقة في شبكة عصبية متكرّرة تمّ نشرها بمرور الوقت.[83] يشير الحرف "P" في ChatGPT إلى مثل هذا التّدريب المسبق.

طبّقت أطروحة دبلوم سيب هوشريتر عام 1991 [84] الضّاغط التّاريخيّ العصبيّ، [81] وحدّدت وحلّلت مشكلة التّدريج المتلاشي.[84][85] اقترح هوشريتر اتّصالات متبقيةً متكرّرةً لحلّ مشكلة التّدريج المتلاشي. أدّى هذا إلى ظهور ذاكرة المدى الطويل القصيرة (LSTM)، التي نشرت في عام 1995.[86] يمكن لذاكرة المدى الطويل القصيرة تعلّم مهامّ "التعلّم العميق جدًا" [23] مع مسارات تخصيص رصيد طويلة تتطلّب ذكريات أحداث وقعت قبل آلاف الخطوات الزمنية المنفصلة. لم تكن ذاكرة المدى الطويل القصيرة هي البنية الحديثة بعد، والتي تطلّبت "بوابة نسيان"، تمّ تقديمها في عام 1999، [87] والتي أصبحت بنية الشّبكة العصبية المتكرّرة القياسية.

في عام 1991، نشر يورغن شميدهوبر أيضًا شبكات عصبيةً متنافسةً تتنافس مع بعضها البعض على شكل لعبة ذات مجموع صفريّ، حيث يكون ربح شبكة واحدة هو خسارة الشّبكة الأخرى.[88][89] الشّبكة الأولى هي نموذج توليديّ يصوّر توزيع احتمالية على أنماط الإخراج. تتعلّم الشّبكة الثّانية عن طريق الانحدار التّدريجيّ التنبّؤ بردود فعل البيئة على هذه الأنماط. سميّ هذا بـ "الفضول الاصطناعيّ". في عام 2014، تمّ استخدام هذا المبدأ في الشّبكات التوليدية المتنافسة (GANs).[90]

خلال 1985-1995، تمّ تطوير العديد من البنى والطرق بواسطة تيري سيجنوفسكي وبيتر دايان وجيوفري هينتون مستوحاةً من الميكانيكا الإحصائية، مثل آلة بولتزمان، [91] وآلة بولتزمان المقيّدة، [92] وآلة هيلمهولتز، [93] وخوارزمية الاستيقاظ والنّوم.[94] صمّمت هذه للتعلّم غير المراقب لنماذج توليدية عميقة. ومع ذلك كانت هذه أكثر تكلفةً من الناحية الحسابية مقارنةً بالانتشار العكسيّ. كانت خوارزمية تعلّم آلة بولتزمان التي نشرت في عام 1985، شائعةً لفترة وجيزة قبل أن تطغى عليها خوارزمية الانتشار العكسيّ في عام 1986. (ص 112 [95]). أصبحت شبكة عام 1988 حالةً فنيةً في التنبّؤ ببنية البروتين، وهو تطبيق مبكّر للتعلّم العميق على المعلوماتية الحيوية.[96]

تمّ استكشاف التعلّم الضحل والعميق (على سبيل المثال، الشّبكات المتكرّرة) للشّبكات العصبية الاصطناعية للتعرّف على الكلام لسنوات عديدة.[97][98][99] لم تتفوّق هذه الطرق أبدًا على تقنية نموذج الخليط/نظرية ماركوف المخفية (GMM-HMM) الدّاخلية غير الموحّدة المصنوعة يدويًا والقائمة على نماذج توليدية للكلام مدرّبةً بشكل تمييزيّ.[100] تمّ تحليل الصّعوبات الرّئيسية، بما في ذلك تناقص التّدريج [70] وهيكل الارتباط الزمنيّ الضعيف في نماذج التنبّؤ العصبية.[101][102] من الصّعوبات الإضافية نقص بيانات التّدريب وقدرة الحوسبة المحدودة.

ابتعد معظم باحثي التعرّف على الكلام عن الشّبكات العصبية لمتابعة النّمذجة التّوليدية. كان الاستثناء في معهد ستانفورد للأبحاث في أواخر التسعينيات. بتمويل من وكالة الأمن القومي الأمريكية وداربا، أجرت وكالة الأمن القومي بحثًا في التعرّف على الكلام والمتحدّث. أفاد فريق التعرّف على المتحدّث بقيادة لاري هيك بنجاح كبير مع الشّبكات العصبية العميقة في معالجة الكلام في معيار المعهد الوطني للمعايير والتقانة لعام 1998، [103][104] وهو يمثّل أوّل تطبيق صناعيّ رئيسيّ للتعلّم العميق.[105]

تمّ استكشاف مبدأ رفع الميزات "الخام" على التّحسين المصنوع يدويًا بنجاح لأوّل مرّة في بنية المشفّر التّلقائيّ العميق على الطّيف "الخام" أو ميزات بنك المرشّح الخطيّ في أواخر التسعينيات، [104] مظهرًا تفوّقه على ميزات ميل-سيبسترال التي تحتوي على مراحل تحويل ثابتة من الأطياف. أنتجت الميزات الخام للكلام، الموجات الصوتية، لاحقًا نتائج ممتازةً على نطاق أوسع.[106]

العقد الأول من القرن الحادي والعشرين

عدل

دخلت الشبكات العصبية في حالة ركود، وأصبحت النماذج الأبسط التي تستخدم ميزات يدوية الصنع مخصصةً للمهام مثل مرشحات غابور وآلات متجهات الدعم (SVMs) هي الخيارات المفضلة في التسعينيات والعقد الأول من القرن الحادي والعشرين، بسبب التكلفة الحسابية للشبكات العصبية الاصطناعية ونقص فهم كيفية توصيل الدماغ لشبكاته البيولوجية. [بحاجة لمصدر]

في عام 2003، أصبحت ذاكرة المدى الطويل القصيرة قادرةً على منافسة معرفات الكلام التقليدية في مهام معينة.[107] في عام 2006 جمع أليكس غريفز [الإنجليزية] وسانتياغو فرنانديز وفاوستينو غوميز وشميدهوبر بينها وبين التصنيف الزمني للاتصال (CTC) [108] في مجموعات من ذواكر المدى الطويل القصيرة.[109] في عام 2009، أصبحت أول شبكة عصبية متكررة تفوز في مسابقة التعرف على الأنماط، في التعرف على خط اليد المتصل. تعرف على خط اليد

في عام 2006، تم تطوير شبكة الاعتقاد العميق للنمذجة التوليدية من خلال منشورات لجيفري هينتون ورسلان سالاخوتدينوف وأوسيندرو وته.[110][111] يتم تدريبها عن طريق تدريب آلة بولتزمان المقيدة، ثم تجميدها وتدريب آلة أخرى فوق الأولى، وهكذا، ثم ضبطها اختياريًا باستخدام الانتشار العكسي المراقب.[112] يمكنها نمذجة توزيعات احتمالات عالية الأبعاد، مثل توزيع "صور ذاكرة المدى الطويل القصيرة"، لكن التقارب كان بطيئًا.[113][114][115]

بدأ تأثير التعلم العميق في الصناعة في أوائل العقد الأول من القرن الحادي والعشرين، عندما عالجت الشبكات العصبية التلافيفية بالفعل ما يقدر بـ 10% إلى 20% من جميع الشيكات المكتوبة في الولايات المتحدة، وفقًا ليان ليكون.[116] بدأت التطبيقات الصناعية للتعلم العميق على التعرف على الكلام على نطاق واسع حوالي عام 2010.

كانت ورشة عمل NIPS لعام 2009 حول التعلم العميق للتعرف على الكلام مدفوعةً بقيود النماذج التوليدية العميقة للكلام، واحتمالية أن تصبح الشبكات العصبية العميقة عمليةً بالنظر إلى الأجهزة الأكثر قدرةً ومجموعات البيانات واسعة النطاق. كان يعتقد أن التدريب المسبق للشبكات العصبية العميقة باستخدام نماذج توليدية لشبكات المعتقدات العميقة (DBN) سيتغلب على الصعوبات الرئيسية للشبكات العصبية. ومع ذلك، تم اكتشاف أن استبدال التدريب المسبق بكميات كبيرة من بيانات التدريب للانتشار العكسي المباشر عند استخدام الشبكات العصبية العميقة ذات طبقات الإخراج الكبيرة المعتمدة على السياق أنتج معدلات خطأ أقل بشكل كبير من نموذج خليط غاوسي (GMM) ونموذج ماركوف المخفي (HMM) الأكثر تطورًا، وكذلك من الأنظمة الأكثر تقدمًا القائمة على النموذج التوليدي.[117] كانت طبيعة أخطاء التعرف التي أنتجها النوعان من الأنظمة مختلفةً بشكل كبير، [118] مما يوفر رؤى فنيةً حول كيفية دمج التعلم العميق في نظام فك تشفير الكلام الحالي عالي الكفاءة في وقت التشغيل الذي نشرته جميع أنظمة التعرف على الكلام الرئيسية.[40][119][120]

حفز التحليل في عامي 2009 و2010 - الذي يقارن بين نموذج الخليط ونماذج الكلام التوليدية الأخرى مقابل نماذج الشبكات العصبية العميقة - الاستثمار الصناعي المبكر في التعلم العميق للتعرف على الكلام.[118] تم إجراء هذا التحليل بأداء مقارن (أقل من 1.5% في معدل الخطأ) بين الشبكات العصبية العميقة التمييزية والنماذج التوليدية.[117][118][121] في عام 2010، وسع الباحثون التعلم العميق من TIMIT [الإنجليزية] إلى التعرف على الكلام ذي المفردات الكبيرة، من خلال اعتماد طبقات إخراج كبيرة من الشبكة العصبية العميقة بناءً على حالات نظرية ماركوف المخفية المعتمدة على السياق التي تم إنشاؤها بواسطة أشجار القرار.[119][122][123][124]

ثورة التعلم العميق

عدل

بدأت ثورة التعلم العميق حول رؤية الحاسوب القائمة على الشبكات العصبية التلافيفية (CNN) ووحدات معالجة الرسومات (GPU).

على الرغم من أن الشبكات العصبية التلافيفية المدربة بواسطة الانتشار العكسي كانت موجودةً منذ عقود وتطبيقات وحدات معالجة الرسومات للشبكات العصبية لسنوات، [125] بما في ذلك الشبكات العصبية التلافيفية، [126] كانت هناك حاجة إلى تطبيقات أسرع للشبكات العصبية التلافيفية على وحدات معالجة الرسومات للتقدم في رؤية الحاسوب. في وقت لاحق، مع انتشار التعلم العميق، تم تطوير أجهزة متخصصة وتحسينات للخوارزميات خصيصًا للتعلم العميق.[127]

كان التقدم الرئيسي لثورة التعلم العميق هو التقدم في الأجهزة، وخاصةً وحدات معالجة الرسومات. يعود تاريخ بعض الأعمال المبكرة إلى عام 2004.[125][126] في عام 2009 أفاد راينا ومادهافان وأندرو نج عن شبكة معتقدات عميقة بعمق 100 مليون مدربة على 30 وحدة معالجة رسومات من إنفيديا من فئة (بالإنجليزية: GeForce GTX 280)‏، وهو عرض مبكر للتعلم العميق القائم على وحدة معالجة الرسومات. أفادوا بما يصل إلى 70 مرةً أسرع في التدريب.[128]

في عام 2011، حققت شبكة عصبية تلافيفية تسمى دانت (بالإنجليزية: DanNet)‏ [129][130] بواسطة دان سيريسان ويولي ماير وجوناثان ماسكي ولوكا ماريا غامبارديلا ويورغن شميدهوبر لأول مرة أداءً بشريًا خارقًا في مسابقة التعرف على الأنماط المرئية، متفوقةً على الطرق التقليدية بعامل 3.[23] ثم فازت في المزيد من المسابقات.[131][132] كما أظهروا كيف أدى التجميع الأقصى [الإنجليزية] للشبكات العصبية التلافيفية على وحدة معالجة الرسومات إلى تحسين الأداء بشكل كبير.[131][132]

في عام 2012، أنشأ أندرو نج وجيف دين شبكةً عصبيةً للتغذية الأمامية تعلمت التعرف على مفاهيم ذات مستوىً أعلى، مثل القطط، فقط من مشاهدة الصور غير المعلمة المأخوذة من مقاطع فيديو يوتيوب.[133]

في أكتوبر 2012، فاز ألكسنت بواسطة أليكس كريجفسكي، وإيليا سوتسكيفر، وجيفري هينتون [134] بمسابقة "إيميج نت" بهامش كبير على طرق التعلم الآلي الضحلة. تضمنت التحسينات التزايدية الإضافية شبكة VGG-16 بواسطة كارين سيمونيان وأندرو زيسرمان [135] وشبكة جوجل العصبية انسبشن 3 [الإنجليزية].[136]

ثم امتد النجاح في تصنيف الصور إلى مهمة إنشاء أوصاف (تسميات) للصور الأكثر تحديًا، غالبًا كمزيج من الشبكات العصبية التلافيفية وذاكرة المدى الطويل القصيرة.[137][138][139]

في عام 2014، كانت حالة الفن هي تدريب "شبكة عصبية عميقة جدًا" مع 20 إلى 30 طبقة.[140] أدى تكديس العديد من الطبقات إلى انخفاض حاد في دقة التدريب، [141] والمعروفة باسم مشكلة "التدهور".[142] في عام 2015 تم تطوير تقنيتين لتدريب الشبكات العميقة جدًا وهما شبكة الطرق السريعة [الإنجليزية] في مايو 2015، والشبكة العصبية المتبقية (ResNet) [143] في ديسمبر 2015.

في نفس الوقت تقريبًا، بدأ التعلم العميق يؤثر على مجال الفن. من بين الأمثلة المبكرة ديب دريم (2015)، والنقل الأسلوبي العصبي [الإنجليزية] (2015)، [144] وكلاهما كان قائمًا على الشبكات العصبية المدربة مسبقًا لتصنيف الصور، مثل VGG-19.

أصبحت الشبكة التوليدية المتنافسة (GAN) بواسطة (إيان جودفيلو وآخرون، 2014) [145] (بناءً على مبدأ الفضول الاصطناعي ليورغن شميدهوبر [88][90]) حالةً فنيةً في النمذجة التوليدية خلال الفترة 2014-2018. تم تحقيق جودة صورة ممتازة بواسطة StyleGAN من إنفيديا (2018) [146] استنادًا إلى شبكة خصومية توليدية بواسطة تيرو كاراس وآخرون.[147] هنا ينمو مولد الشبكة التوليدية المتنافسة من نطاق صغير إلى نطاق كبير بطريقة هرمية. حقق توليد الصور بهذه الشبكة نجاحًا شائعًا، وأثار مناقشات حول التزييف العميق.[148] طغت نماذج الانتشار (2015) [149] على الشبكات التوليدية المتنافسة في النمذجة التوليدية منذ ذلك الحين، مع أنظمة مثل دال-إي 2 (2022) وستيبل ديفيوجن (2022).

في عام 2015، تحسن التعرف على الكلام من غوغل بنسبة 49% بواسطة نموذج قائم على LSTM، وجعلوه متاحًا من خلال بحث غوغل الصوتي على الهواتف الذكية.[150][151]

يعد التعلم العميق جزءًا من أحدث الأنظمة في مختلف التخصصات، وخاصةً الرؤية حاسوبية والتعرف التلقائي على الكلام (ASR). تحسنت النتائج على مجموعات التقييم المستخدمة بشكل شائع مثل TIMIT (التعرف الكلام) وMNIST (رؤية حاسوبية)، بالإضافة إلى مجموعة من مهام التعرف على الكلام ذات المفردات الكبيرة بثباتة.[117][152] تم استبدال الشبكات العصبية التلافيفية بالذاكرة القصيرة المدى المطولة.[151][153][154][155] لكنها أكثر نجاحًا في رؤية الحاسوب.

حصل يوشوا بنجيو، وجيفري هينتون، ويان ليكون على جائزة تورينج لعام 2018 لـ "الإنجازات المفاهيمية والهندسية التي جعلت الشبكات العصبية العميقة مكونًا أساسيًا في الحوسبة." [156]

الشبكات العصبية

عدل
المقالة الرئيسة: شبكة عصبونية اصطناعية

تعد الشبكات العصبية الاصطناعية (ANNs) أو الأنظمة المتصلة أنظمة حوسبة مستوحاةً من الشبكات العصبية البيولوجية التي تشكل أدمغة الحيوانات. تتعلم هذه الأنظمة (تحسن قدرتها تدريجيًا) على أداء المهام من خلال مراعاة الأمثلة، عمومًا دون برمجة مخصصة للمهام. على سبيل المثال، في التعرف على الصور، قد تتعلم تحديد الصور التي تحتوي على قطط من خلال تحليل صور أمثلة تم تصنيفها يدويًا على أنها "قطة" أو "ليست قطة" واستخدام النتائج التحليلية للتعرف على القطط في الصور الأخرى. لقد وجدت معظم استخدامها في التطبيقات التي يصعب التعبير عنها باستخدام خوارزمية حاسوب تقليدية باستخدام البرمجة القائمة على القواعد.[157]

تعتمد الشبكة العصبية الاصطناعية على مجموعة من الوحدات المتصلة تسمى الخلايا العصبية الاصطناعية، (مماثلة للخلايا العصبية البيولوجية في الدماغ البيولوجي). يمكن أن يرسل كل اتصال (مشبك) بين الخلايا العصبية إشارةً إلى خلية عصبية أخرى. يمكن للخلية العصبية المستقبلة (بعد المشبكية) معالجة الإشارة (الإشارات) ثم إرسال إشارة إلى الخلايا العصبية التالية المتصلة بها. قد يكون للخلايا العصبية حالة، يمثلها عمومًا أعداد حقيقية، عادةً ما بين 0 و1. قد يكون للخلايا العصبية والمشابك أيضًا وزن يتغير مع تقدم التعلم، مما قد يزيد أو يقلل من قوة الإشارة التي ترسلها إلى أسفل التيار.[158]

عادةً ما يتم تنظيم الخلايا العصبية في طبقات. قد تجري طبقات مختلفة أنواعًا مختلفةً من التحويلات على مدخلاتها. تنتقل الإشارات من الطبقة الأولى (الإدخال) إلى الطبقة الأخيرة (الإخراج)، ربما بعد اجتياز الطبقات عدة مرات.[159]

كان الهدف الأصلي من نهج الشبكة العصبية هو حل المشكلات بنفس الطريقة التي يعمل بها الدماغ البشري. بمرور الوقت، ركز الاهتمام على مطابقة قدرات عقلية محددة، مما أدى إلى انحرافات عن علم الأحياء مثل الانتشار العكسي أو الانتشار الخلفي، أو تمرير المعلومات في الاتجاه المعاكس وتعديل الشبكة لتعكس تلك المعلومات.[160]

تم استخدام الشبكات العصبية في مجموعة متنوعة من المهام، بما في ذلك رؤية الحاسوب والتعرف على الكلام، والترجمة الآلية، وتصفية الشبكات الاجتماعية، ولعب ألعاب الطاولة، وألعاب الفيديو، والتشخيص الطبي.[161][162]

اعتبارًا من عام 2017، تحتوي الشبكات العصبية عادةً على عدد قليل من الآلاف إلى عدد قليل من ملايين الوحدات وملايين الاتصالات. على الرغم من أن هذا العدد أقل بعدة مراتب من عدد الخلايا العصبية في الدماغ البشري، فإن هذه الشبكات يمكنها أداء العديد من المهام على مستوىً يتجاوز مستوى البشر (على سبيل المثال، التعرف على الوجوه، أو لعب "غو").[163]

الشبكات العصبية العميقة

عدل

الشبكة العصبية العميقة (DNN) هي نموذج حاسوبي مستوحى من بنية الدماغ، يتألف من طبقات متعددة من الوحدات الحسابية المترابطة، تمتد بين طبقة الإدخال وطبقة الإخراج.[20][23] ورغم تعدد أنواع هذه الشبكات، إلا أنها تتشارك في مكونات أساسية مشتركة، كالخلايا العصبية الاصطناعية والوصلات بينها، والأوزان والانحيازات التي تحدد قوة هذه الوصلات، فضلًا عن الدوال التي تنظم عملية الحساب.[164]

على سبيل المثال، يمكن تدريب شبكة عصبية عميقة على تمييز سلالات الكلاب، بحيث عند عرض صورة لكلب عليها، تقوم بحساب الاحتمال النسبي لانتماء هذا الكلب إلى سلالة معينة. ويمكن للمستخدم تعديل هذه الاحتمالات بوضع عتبات محددة، ليحصل في النهاية على تسمية مقترحة للسلالة. كل عملية حسابية من هذه العمليات تعتبر طبقة في الشبكة، ولهذا سميت هذه الشبكات بـ"العميقة" نظرًا لاحتوائها على عدد كبير من هذه الطبقات.

تستطيع الشبكات العصبية العميقة أن تُمَثِّل علاقات غير خطية معقدة. تولد بنى هذه الشبكات نماذج تركيبية تُعَبَّر فيها عن الكائن على أنه تركيب متعدد الطبقات من عناصر بدائية.[165] تتيح الطبقات الإضافية تكوين ميزات من الطبقات الأدنى، مما يُمكّن من نمذجة بيانات معقدة بوحدات أقل من الشبكة الضحلة ذات الأداء المماثل.[20] على سبيل المثال، ثبت أن كثيرات الحدود المتعددة المتغيرات المفرقة تُقَرَّب بشكل أسهل بكثير باستخدام الشبكات العصبية العميقة مقارنة بالشبكات الضحلة.[166]

تشتمل البنى العميقة على العديد من المتغيرات لعدد قليل من الأساليب الأساسية. وقد حققت كل بنية نجاحًا في مجالات محددة. وليس من الممكن دائمًا مقارنة أداء بنى متعددة إلا إذا قُيِّمت على نفس مجموعات البيانات.

تُعَدّ الشبكات العصبية العميقة، في الغالب، شبكاتَ تغذية أمامية تسير فيها البيانات في اتجاه واحد، من طبقة الإدخال إلى طبقة الإخراج، دون رجوع. في البداية، تُنشئ هذه الشبكة خريطةً من العُقد العصبية الاصطناعية وتُعيّن قيمًا عدديةً عشوائية، أو ما يُسمى "أوزانًا"، للعلاقات فيما بينها. تُضرب هذه الأوزان في قيم المدخلات، وينتج عن ذلك قيمٌ تتراوح بين الصفر والواحد. إذا لم تستطع الشبكة تمييز نمطٍ معين بدقة، تقوم الخوارزمية بتعديل هذه الأوزان.[167] بهذه الطريقة تستطيع الخوارزمية تعزيز تأثير بعض المعلمات، حتى تصل إلى المعالجة الرياضية الصحيحة للبيانات بالكامل.[168][169]

تُستخدَم الشبكات العصبية المتكررة التي تتدفق فيها البيانات في اتجاهات متعددة، في تطبيقات نمذجة اللغات.[170][171][172] وتُعد شبكات الذاكرة قصيرة المدى طويلة الأجل ذات كفاءة بالغة في هذا السياق.[173][174]

أما الشبكات العصبية التلافيفية (CNNs) فتُستخدم على نطاق واسع في مجال الرؤية الحاسوبية.[175] كما تم توظيفها في نمذجة الإشارات الصوتية لتحقيق التعرف التلقائي على الكلام.[176]

التحديات

عدل

كما هو الحال في الشبكات العصبية الاصطناعية، يمكن أن تنشأ العديد من المشكلات في الشبكات العصبية العميقة المدربة بطريقة بسيطة. من بين هذه المشكلات الشائعة الإفراط في التعميم ووقت الحساب الكبير.

تميل الشبكات العصبية العميقة إلى الإفراط في التعميم بسبب الطبقات المجردة الإضافية التي تسمح لها بنمذجة العلاقات النادرة في بيانات التدريب. يمكن تطبيق أساليب التنظيم مثل تقليم وحدة إيفاخنينكو، [55] أو اضمحلال الأوزان أو التناثر أثناء التدريب للحد من الإفراط في التعميم.[177] بدلًا من ذلك، يتجاهل تنظيم التسرب وحدات عشوائية من الطبقات المخفية أثناء التدريب. يساعد ذلك في استبعاد العلاقات النادرة.[178] أخيرًا، يمكن زيادة البيانات من خلال أساليب مثل القص وال دوران لزيادة حجم مجموعات التدريب الأصغر وتقليل فرص الإفراط في التعميم.[179]

يجب على الشبكات العصبية العميقة أن تأخذ في الاعتبار العديد من معلمات التدريب، مثل الحجم (عدد الطبقات وعدد الوحدات في كل طبقة)، ومعدل التعلم والأوزان الأولية. قد يكون مسح فضاء المعلمات للحصول على المعلمات المثالية غير ممكن بسبب التكلفة من حيث الوقت والموارد الحسابية. تسارع العديد من الحيل الحسابية، مثل التجميع (حساب التدرج على عدة أمثلة تدريب في وقت واحد بدلًا من الأمثلة الفردية)، عملية التدريب.[180] وقد أدت القدرات الحسابية الكبيرة للبنى متعددة النوى (مثل وحدات معالجة الرسومات) إلى تسريع كبير في التدريب، نظرًا لملاءمة هذه البنى الحسابية لحسابات المصفوفات والمتجهات.[181][182]

بدلًا من ذلك، قد يبحث المهندسون عن أنواع أخرى من الشبكات العصبية ذات خوارزميات تدريب أبسط وأكثر تقارباً. تعتبر أجهزة التحكم في المفاصل القائمة على نموذج المخيخ (CMAC) أحد هذه الأنواع من الشبكات العصبية. لا تتطلب معدلات تعلم أو أوزانًا أولية عشوائية. يمكن ضمان تقارب عملية التدريب في خطوة واحدة مع دفعة جديدة من البيانات، وتكون التعقيدات الحسابية لخوارزمية التدريب خطية بالنسبة لعدد الخلايا العصبية المشاركة.[183][184]

الأجهزة

عدل

شهدت الأعوام منذ 2010 تطورات متسارعة في خوارزميات التعلم الآلي وأجهزة الحاسوب، مما أفضى إلى أساليب أكثر كفاءة لتدريب الشبكات العصبية العميقة التي تتكون من طبقات متعددة من الوحدات المخفية غير الخطية وطبقة إخراجية ضخمة.[185] وبحلول عام 2019، حلت وحدات معالجة الرسومات، غالبًا مع تحسينات مخصصة للذكاء الاصطناعي، محل وحدات المعالجة المركزية كأداة أساسية للتدريب واسع النطاق للذكاء الاصطناعي السحابي التجاري.[186] وقدّرت أوبن أيه آي الزيادة في مقدار الحساب المطلوب في أكبر مشاريع التعلم العميق، من ألكسنت (2012) إلى ألفا زيرو (2017)، بحوالي 300 ألف ضعف، مع اتجاه لمضاعفة هذا الوقت كل 3.4 أشهر.[187][188]

صُممت دوائر إلكترونية خاصة، تُعرف بمعالجات التعلم العميق، لتسريع خوارزميات التعلم العميق. وتتضمن هذه المعالجات وحدات معالجة عصبية في هواتف هواوي المحمولة،[189] وخوادم الحوسبة السحابية مثل وحدات معالجة الموترات في منصة غوغل السحابية.[190] كما قامت شركة سيريبراس سيستمز ببناء نظام متخصص لمعالجة نماذج التعلم العميق الكبيرة، استنادًا إلى أكبر معالج في الصناعة.[191][192]

تُعد أشباه الموصلات الرقيقة واعدة لتطوير أجهزة تعلم عميق موفرة للطاقة، حيث تستخدم الهيكل الأساسي نفسه للعمليات المنطقية وتخزين البيانات. وفي عام 2020، نشر ماريغا وآخرون تجاربهم مع مادة قناة نشطة ذات مساحة كبيرة لتطوير أجهزة ودوائر منطقية في الذاكرة تعتمد على ترانزستورات تأثير المجال ذات البوابة العائمة.[193]

وفي عام 2021 اقترح جيه فيلدمان وآخرون مسرعًا مدمجًا للأجهزة الضوئية للمعالجة التلافيفية المتوازية.[194] ويحدد المؤلفون ميزتين رئيسيتين للفوتونات المدمجة مقارنة بنظيراتها الإلكترونية: نقل بيانات متواز بشكل هائل من خلال تعدد إرسال الطول الموجي بالتزامن مع أمشاط التردد، وسرعات تعديل بيانات عالية للغاية.[194] ويمكن لنظامهم تنفيذ تريليونات عمليات الضرب والتجميع في الثانية، مما يشير إلى إمكانات الفوتونات المدمجة في تطبيقات الذكاء الاصطناعي الغنية بالبيانات.[194]

التطبيقات

عدل

التعرف التلقائي على الكلام

عدل
المقالة الرئيسة: تعرف الكلام

يُعدُّ التعرف التلقائي على الكلام أوسع نطاقٍ تحقق فيه التعلم العميق نجاحًا مبهرًا. لقد أظهرت شبكات الذاكرة الطويلة قصيرة المدى قدرةً على تعلم مهامّ "التعلم العميق جدًّا" [12]، والتي تتضمن فترات زمنية مطولة تمتد لعدة ثوانٍ وتحوي أحداث كلامية متباعدة بآلاف الخطوات الزمنية المتسلسلة، حيث تقابل الخطوة الزمنية الواحدة حوالي 10 مللي ثانية. وقد أظهرت شبكات الذاكرة الطويلة قصيرة المدى ذات بوابات النسيان [174] قدرةً على منافسة أنظمة التعرف على الكلام التقليدية في مهامّ محددة.[195]

ارتكز النجاح الأولي في مجال التعرف على الكلام على مهامّ التعرف على نطاقٍ صغير، مثل قاعدة بيانات "TIMIT". تحتوي هذه المجموعة البياناتية على 630 متحدثًا يمثلون ثماني لهجات رئيسية للغة الإنجليزية الأمريكية، حيث يقرأ كل متحدث عشر جمل.[196] وقد أتاح حجمها الصغير إمكانية تجربة العديد من التهيئات. والأهم من ذلك، أن مهمتها تتعلق بالتعرف على تسلسل الصوتيات، الأمر الذي يسمح، على عكس التعرف على تسلسل الكلمات، باستخدام نماذج لغة ثنائية بسيطة على مستوى الصوتيات. وقد سمح هذا بتحليل قوة جوانب النمذجة الصوتية في التعرف على الكلام بشكلٍ أيسر. وقد تم تلخيص معدلات الخطأ، بما في ذلك هذه النتائج الأولية التي قيست كنسبة مئوية لمعدلات خطأ الصوتيات (PER)، منذ عام 1991.[197]

الطريقة معدل الخطأ (%)
الشبكة العصبية التكرارية (RNN) بتخصيص عشوائي[198] 26.1
النموذج ثلاثي الفونيمات بايز (GMM-HMM) 25.6
نموذج المسار المخفي (مولد) 24.8
الشبكة العصبية العميقة (DNN) أحادية الفونيم بتخصيص عشوائي 23.4
الشبكة العصبية العميقة بربط الشبكة الاعتقادية العميقة (DBN-DNN) أحادية الفونيم 22.4
النموذج ثلاثي الفونيمات GMM-HMM بتدريب بي أم أم آي 21.7
الشبكة العصبية العميقة بربط الشبكة الاعتقادية العميقة (DBN-DNN) على FBANK 20.7
الشبكة العصبية العميقة الالتفافية[199] 20.0
الشبكة العصبية العميقة الالتفافية مع تجميع غير متجانس 18.7
مزيج الشبكات العصبية العميقة/الالتفافية/التكرارية (DNN/CNN/RNN)[200] 18.3
شبكة الذاكرة طويلة الأجل ثنائية الاتجاه (LSTM) 17.8
شبكة ماكس أوت العميقة التلافيفية الهرمية[201] 16.5

أدى بروز الشبكات العصبية العميقة في مجالات التعرف على المتحدث في أواخر التسعينات، والتعرف على الكلام حول عامي 2009 و2011، والذاكرة القصيرة المدى المطولة في الفترة الممتدة بين عامي 2003 و2007 إلى تسريع التقدم في ثمانية مجالات رئيسية:[119][121][202]

  • التوسع والتدريب السريع وفك التشفير للشبكات العصبية العميقة: حيث شهد هذا المجال تطورات متسارعة في بناء وتدريب وتشغيل هذه الشبكات.
  • التدريب التمييزي للتسلسلات: تم التركيز على تطوير خوارزميات تدريب قادرة على التمييز بين التسلسلات المختلفة بدقة عالية.
  • معالجة الميزات بواسطة نماذج عميقة مع فهم عميق للآليات الأساسية: تم تطوير نماذج قادرة على استخراج ميزات ذات دلالة عالية من البيانات، مع فهم أعمق للعمليات التي تحدث داخل هذه النماذج.
  • تكيف الشبكات العصبية العميقة والنماذج العميقة ذات الصلة: تم تطوير تقنيات لتكييف هذه النماذج لتناسب مختلف المهام والبيانات.
  • التعلم متعدد المهام والتعلم الانتقالي بواسطة الشبكات العصبية العميقة والنماذج العميقة ذات الصلة: تم استكشاف قدرة هذه النماذج على تعلم مهام متعددة في آن واحد، ونقل المعرفة المكتسبة من مهمة إلى أخرى.
  • الشبكات العصبية التلافيفية وكيفية تصميمها للاستفادة المثلى من معرفة مجال الكلام: تم التركيز على تصميم هذه الشبكات بحيث تستفيد بشكل كامل من المعرفة المتراكمة في مجال معالجة الإشارات الصوتية.
  • الشبكة العصبية المتكررة ومتغيرات الذاكرة القصيرة المدى المطولة الغنية بها: تم تطوير نماذج متكررة قادرة على معالجة البيانات التسلسلية مع قدرة أكبر على حفظ المعلومات.
  • أنواع أخرى من النماذج العميقة بما في ذلك النماذج القائمة على الموترات والنماذج المدمجة التوليدية/التمييزية العميقة: تم استكشاف نماذج جديدة ذات بنى معقدة أكثر، مثل النماذج القائمة على الموترات والنماذج المدمجة التي تجمع بين القدرات التوليدية والتمييزية.

تعتمد جميع أنظمة التعرف على الكلام التجارية الرئيسية على التعلم العميق مثل كورتانا وإكس بوكس، ومترجم سكايب، وأمازون أليكسا، وجوجل ناو، وسيري، وبايدو، وآي فلايتك للبحث الصوتي، ومجموعة من منتجات نيوانس للكلام وغيرها.[3][203][204]

التعرف على الصور

عدل
المقالة الرئيسة: رؤية حاسوبية
يشرح ريتشارد جرين كيفية استخدام التعلم العميق مع مركبة تعمل عن بُعد تحت الماء في تربية بلح البحر

تُعد قاعدة بيانات MNIST مجموعة بيانات مرجعية شائعة لتقييم خوارزميات تصنيف الصور. تتألف من أرقام مكتوبة بخط اليد، وتضم 60 ألف عينة تدريبية و10 ألف عينة اختبارية، شأنها شأن قاعدة بيانات TIMIT فإن حجمها المتواضع يتيح للمستخدمين تجربة إعدادات متنوعة. وتتوفر قائمة شاملة بالنتائج التي تحققت على هذه المجموعة.[205]

بات التعرف على الصور القائم على التعلم العميق يتفوق على القدرات البشرية، إذ يُنتج نتائج أدق من نظرائه البشر. وقد تحقق هذا الإنجاز لأول مرة في عام 2011 في مجال التعرف على إشارات المرور، ثم تبعه في عام 2014 في مجال التعرف على الوجوه البشرية.[206][207]

تفسر المركبات المدربة على التعلم العميق الآن مشاهدات الكاميرا بزاوية 360 درجة.[208] ومن الأمثلة الأخرى على تطبيقات التعلم العميق في هذا المجال، تحليل تشوهات الوجه الجديد (FDNA) الذي يُستخدم في تحليل الحالات الشاذة الوراثية المرتبطة بقاعدة بيانات واسعة من المتلازمات الوراثية.[208]

معالجة الفنون البصرية

عدل
 
معالجة الفنون البصرية لجيمي ويلز في فرنسا، مع تطبيق أسلوب لوحة "الصرخة" لمونش باستخدام نقل الأسلوب العصبي

إن التقدم المحرز في مجال التعرف على الصور مرتبط ارتباطًا وثيقًا بالاستخدام المتزايد لتقنيات التعلم العميق في شتى مهام الفنون البصرية. وقد أثبتت الشبكات العصبية العميقة كفاءتها في مجالات عدة، منها على سبيل المثال لا الحصر:

  • تحديد الفترة الزمنية لأسلوب لوحة ما: حيث باتت قادرة على تحديد الفترة الفنية التي تنتمي إليها لوحة معينة بدقة متزايدة.[209][210]
  • النقل الأسلوبي العصبي: يتمثل هذا في قدرتها على انتقاء الأسلوب الفني لعمل فني محدد وتطبيقه بطريقةٍ مرضيةٍ بصريًا على صورة أو مقطع فيديو عشوائي.[209][210]
  • توليد صور مذهلة: وذلك من خلال إنشاء صور بصرية مبهرة انطلاقًا من مدخلات عشوائية.[209][210]

معالجة اللغة الطبيعية

عدل
المقالة الرئيسة: معالجة اللغة الطبيعية

استُخدمت الشبكات العصبية لبناء نماذج لغوية منذ مطلع القرن الحادي والعشرين.[168] وقد ساهمت الذاكرة القصيرة المدى المطولة (LSTM) في تطوير الترجمة الآلية ونماذج اللغة بشكل ملحوظ.[169][170][171]

ومن التقنيات الأخرى البارزة في هذا المجال التعيين السلبي والتضمين الكلمي.[211] ويمكن اعتبار التضمين الكلمي، كما في نموذج word2vec، بمثابة طبقة تمثيل في بنية التعلم العميق تحول كلمة مفردة إلى تمثيل نقطوي في فضاء متجه يعبر عن علاقتها بالكلمات الأخرى ضمن مجموعة البيانات. ويتيح استخدام التضمين الكلمي كطبقة إدخال في الشبكات العصبية المتكررة (RNN) تحليل الجمل والعبارات اعتمادًا على قواعد متجه تركيبية فعالة. ويمكن النظر إلى هذه القواعد بمثابة قواعد نحوية احتمالية خالية من السياق (PCFG) يتم تنفيذها بواسطة الشبكات العصبية المتكررة.[212] كما يمكن للمشفرات التلقائية المتكررة المبنية على التضمينات الكلمية تقييم تشابه الجمل واكتشاف عمليات إعادة الصياغة.[212]

وتوفر بنى الشبكات العصبية العميقة نتائج أفضل في مجالات التحليل التركيبي، [213] وتحليل المشاعر، [214] واسترجاع المعلومات، [215][216] وفهم اللغة المنطوقة، [217] والترجمة الآلية، [169][218] وربط الكيان السياقي، [218] والتعرف على أسلوب الكتابة، [219] والتعرف على الكيان المسمى (تصنيف الرموز المميزة)، [220] وتصنيف النصوص وغيرها.[221]

ويعتمد مترجم جوجل (GT) على شبكة ذاكرة قصيرة المدى طويلة (LSTM) كبيرة الحجم تعمل من طرف إلى طرف.[222][223][224] وتستخدم ترجمة جوجل العصبية الآلية (GNMT) أسلوبًا في الترجمة الآلية يعتمد على الأمثلة حيث "يتعلم النظام من ملايين الأمثلة".[223][225] ويقوم بترجمة "الجمل كاملة في وقت واحد، بدلًا من القطع". ويدعم مترجم جوجل أكثر من مائة لغة.[223] وتشفر الشبكة "دلالات الجملة بدلًا من مجرد حفظ الترجمات من عبارة إلى عبارة".[223][226] ويستخدم مترجم جوجل اللغة الإنجليزية كلغة وسيطة بين معظم أزواج اللغات.[226]

اكتشاف الأدوية والسموم

عدل
   لمعلومات أكثر، طالع علم السموم واكتشاف الدواء.

تفشل نسبة كبيرة من المركبات الدوائية المرشحة في الحصول على الموافقة التنظيمية. تُعزى هذه الإخفاقات إلى قصور في الفعالية الدوائية (أي التأثير على الهدف المقصود)، أو ظهور تفاعلات جانبية غير مرغوب فيها (أي تأثيرات خارج الهدف)، أو حدوث سمية غير متوقعة.[227][228] وقد سعى الباحثون إلى استكشاف إمكانية استخدام تقنيات التعلم العميق للتنبؤ بالأهداف الجزيئية الحيوية، [229][230] والأهداف غير المقصودة، والتأثيرات السامة للمركبات الكيميائية الموجودة في الأغذية والمنتجات المنزلية والأدوية.[231][232][233]

يعد نظام "أتوم نت" مثالًا بارزًا على أنظمة التعلم العميق المصممة لتطوير الأدوية بشكل عقلاني بناءً على بنية الجزيء.[234] وقد تم توظيف "أتوم نت" للتنبؤ بجزيئات حيوية جديدة مرشحة لعلاج أمراض مثل فيروس إيبولا، [235] والتصلب المتعدد.[235][236]

شهد عام 2017 استخدام الشبكات العصبية البيانية لأول مرة في مجال التنبؤ بخصائص جزيئية متنوعة ضمن قاعدة بيانات واسعة في علم السموم.[237] وفي عام 2019، تم اللجوء إلى الشبكات العصبية التوليدية لإنتاج جزيئات خضعت للتحقق التجريبي حتى مرحلة التجارب على الفئران.[238][239]

إدارة علاقات العملاء

عدل
المقالة الرئيسة: إدارة علاقات العملاء

تم توظيف تقنيات التعلم العميق بالتعزيز لتقدير قيمة الإجراءات التسويقية المباشرة المحتملة، وذلك بالاستناد إلى معطيات عميقة حول المتغيرات الخاصة بتردد الشراء، القيمة الإجمالية للطلبات، ومدة آخر عملية شراء (RFM). وقد أظهرت النتائج أن الدالة المستخدمة في تقدير القيمة تحمل تفسيرًا بديهيًا يتمثل في قيمة عمر العميل.[240]

أنظمة التوصية

عدل
المقالة الرئيسة: نظام التوصية

استخدمت أنظمة التوصية التعلم العميق لاستخراج ميزات ذات مغزىً لنموذج عامل كامن للتوصيات الموسيقية والبحثية القائمة على المحتوى.[241][242] تم تطبيق التعلم العميق متعدد المناظر لتعلم تفضيلات المستخدم من نطاقات متعددة.[243] يستخدم النموذج نهجًا هجينًا قائمًا على التعاون والمحتوى ويعزز التوصيات في مهام متعددة.

المعلوماتية الحيوية

عدل
المقالة الرئيسة: معلوماتية حيوية

استُخدم مشفر تلقائي للشبكات العصبية الاصطناعية في حقل المعلوماتية الحيوية، بهدف التنبؤ بالشروح الوراثية والعلاقات الوظيفية بين الجينات.[244] وفي سياق المعلوماتية الطبية، استُغل التعلم العميق للتنبؤ بجودة النوم بالاعتماد على البيانات المستمدة من الأجهزة القابلة للارتداء، [245] وكذلك للتنبؤ بالمضاعفات الصحية استنادًا إلى البيانات المسجلة في السجلات الصحية الإلكترونية.[246] وقد أظهرت الشبكات العصبية العميقة تفوقًا ملحوظًا في التنبؤ ببنية البروتين، وذلك انطلاقًا من تسلسل الأحماض الأمينية المكونة له. وفي عام 2020، حقق نظام ألفافولد القائم على التعلم العميق، مستوى دقة تفوق بكثير جميع الطرق الحسابية السابقة.[247][248]

تقديرات الشبكة العصبية العميقة

عدل

يمكن الاستعانة بالشبكات العصبية العميقة في تقدير إنتروبيا عملية عشوائية، حيث يُطلق على هذا التقدير اسم "مقدر الإنتروبيا العصبي المشترك" (NJEE).[249] يزودنا هذا التقدير بنظرة ثاقبة حول الأثر الذي تحدثه المتغيرات العشوائية المدخلة على متغير عشوائي مستقل.

من الناحية العملية، تُدرب الشبكة العصبية العميقة بحيث تعمل كتصنيف يقوم بتعيين متجه أو مصفوفة من المدخلات (X) إلى توزيع احتمالي للمخرجات على الفئات المحتملة للمتغير العشوائي (Y)، وذلك بالنظر إلى المدخلات (X). على سبيل المثال، في مهام تصنيف الصور، يقوم "مقدر الإنتروبيا العصبي المشترك" بتعيين متجه من قيم ألوان وحدات البكسل إلى احتمالات للفئات التصويرية المحتملة. عمليًا، يتم الحصول على توزيع احتمالي لـ (Y) بواسطة طبقة "سوفت ماكس" حيث يكون عدد العقد فيها مساويًا لحجم أبجدية (Y).

يستخدم "مقدر الإنتروبيا العصبي المشترك" دوال تنشيط قابلة للاشتقاق باستمرار، مما يجعل شروط نظرية التقريب الشاملة قابلة للتطبيق. وقد تبين أن هذه الطريقة توفر مقدرًا متسقًا بقوة ويتفوق على الطرق الأخرى في حال كانت أحجام الأبجدية كبيرة.[249]

تحليل الصور الطبية

عدل

أظهرت الدراسات أن تقنيات التعلم العميق تحقق نتائج متفوقة في مختلف التطبيقات الطبية. ومن أبرز هذه التطبيقات: تصنيف الخلايا السرطانية، واكتشاف الآفات المرضية، وتجزئة الأعضاء، وتحسين جودة الصور الطبية.[250][251] وتشير الأبحاث الحديثة إلى أن أدوات التعلم العميق تتميز بدقة عالية في تشخيص الأمراض المختلفة، مما يجعلها أداة قيمة للمختصين في مجال الرعاية الصحية، ويساهم في رفع كفاءة عمليات التشخيص.[252][253]

الإعلان عبر الهاتف المحمول

عدل

يُشكّل العثور على جمهور محمول مناسب لإعلانات الأجهزة المحمولة تحديًا دائمًا، إذ يتطلب الأمر مراعاة وتحليل العديد من نقاط البيانات قبل تكوين شريحة مستهدفة واستخدامها في عرض الإعلانات بواسطة أي خادم إعلاني.[254] وقد استُخدم التعلم العميق في تفسير مجموعات البيانات الإعلانية الكبيرة متعددة الأبعاد. تجمع العديد من نقاط البيانات أثناء دورة طلب/خدمة/نقرة إعلان الإنترنت، ويمكن أن تشكل هذه المعلومات أساسًا للتعلم الآلي لتحسين اختيار الإعلانات.

استعادة الصور

عدل

طُبّق التعلم العميق بنجاح على المسائل العكسية كإزالة التشويش، والدقة الفائقة، والرسم، وتلوين الأفلام.[255] وتشمل هذه التطبيقات أساليب تعلّم مثل "مجالات الانكماش لاستعادة الصورة بشكل فعال" [256] التي تُدرّب على مجموعة بيانات للصور، و"ديب إيمج برير" التي تُدرّب على الصورة التي تحتاج إلى استعادة.

الكشف عن الاحتيال المالي

عدل

يُطبق التعلم العميق بنجاح على الكشف عن الاحتيال المالي، والكشف عن التهرب الضريبي، [257] ومكافحة غسل الأموال.[258]

علم المواد

عدل

في نوفمبر 2023 أعلن باحثون في شركة ديب مايند ومختبر لورنس بيركلي الوطني عن تطويرهم لنظام ذكاء اصطناعي أسموه "ج نوم" (بالإنجليزية: GNoME)‏، وقد ساهم هذا النظام بشكل كبير في ميدان علم المواد من خلال اكتشافه لأكثر من مليوني مادة جديدة في فترة زمنية وجيزة نسبيًا. يستند نظام "ج نوم" في عمله على تقنيات التعلم العميق التي تمكنه من استكشاف بنى المواد المحتملة بشكل فعال، مما أدى إلى زيادة كبيرة في تحديد البنى البلورية غير العضوية المستقرة. وقد تم التحقق من دقة تنبؤات هذا النظام من خلال تجارب روبوتية آلية حققت نسبة نجاح ملحوظة بلغت 71%. أُتيحت البيانات المتعلقة بالمواد المكتشفة حديثًا للجميع من خلال قاعدة بيانات مشروع المواد، مما يتيح للباحثين فرصة اختيار المواد التي تمتلك الخصائص المطلوبة لتطبيقها في مجالات مختلفة.

يمثل هذا التطور نقلة نوعية في مجال الاكتشاف العلمي، ويؤكد على أهمية دمج الذكاء الاصطناعي في أبحاث علوم المواد، مما قد يساهم في تسريع عملية ابتكار المواد وتقليل التكاليف اللازمة لتطوير المنتجات. يشير استخدام الذكاء الاصطناعي والتعلم العميق إلى إمكانية تقليل أو حتى إلغاء التجارب المخبرية اليدوية، مما يتيح للعلماء التركيز بشكل أكبر على تصميم المركبات الفريدة وتحليلها.[259][260][261]

الجيش

عدل

طبقت وزارة الدفاع الأمريكية التعلم العميق لتدريب الروبوتات على مهام جديدة من خلال المشاهدة.[262]

المعادلات التفاضلية الجزئية

عدل

استُخدمت الشبكات العصبية المستوحاة من الفيزياء في حل المعادلات التفاضلية الجزئية، سواء كانت مباشرة أو عكسية، وذلك بطريقة تعتمد على البيانات.[263] ومن الأمثلة البارزة على ذلك إعادة بناء تدفق السوائل الذي يخضع لقوانين نافييه-ستوكس. ولا يتطلب الاستعانة بهذه الشبكات إنشاء شبكة تفاضلية، والتي تتطلب عادةً تكاليف باهظة كما هو الحال في الطرق التقليدية لديناميكا الموائع الحسابية.[264][265]

طريقة المعادلات التفاضلية العشوائية الخلفية العميقة

عدل

تُعد طريقة المعادلة التفاضلية العشوائية العميقة ذات التوجه الخلفي أسلوبًا حاسوبيًا مبتكرًا يجمع بين قوة التعلم العميق ومرونة المعادلات التفاضلية العشوائية ذات التوجه الخلفي (BSDE). تُعد هذه الطريقة مثالية لحل المسائل المعقدة ذات الأبعاد العالية التي تظهر بشكل متكرر في مجال المالية الرياضية.

بفضل قدرة الشبكات العصبية العميقة على تقريب الدوال بدقة عالية، تستطيع هذه الطريقة تجاوز التحديات الحسابية التي تواجهها الطرق التقليدية في التعامل مع الأبعاد الكبيرة. فطرق التقريب التقليدية، مثل طريقة الفروق المحدودة أو محاكاة مونت كارلو، تعاني من ما يُعرف بـ "لعنة الأبعاد"، حيث تزداد تكلفة الحساب بشكل كبير مع زيادة عدد الأبعاد.

على النقيض من ذلك، تستغل طريقة المعادلة التفاضلية العشوائية العميقة ذات التوجه الخلفي الشبكات العصبية العميقة لتقريب حلول المعادلات التفاضلية الجزئية عالية الأبعاد، مما يقلل بشكل ملحوظ من العبء الحسابي.[266]

وعلاوة على ذلك، فإن دمج الشبكات العصبية المسترشدة بالفيزياء (PINNs) في إطار عمل المعادلات التفاضلية العشوائية العكسية العميق يعزز من قدرتها بدمج القوانين الفيزيائية الأساسية بشكل مباشر في بنية الشبكة العصبية. وهذا يكفل ألا تقتصر الحلول على ملاءمة البيانات، بل تتوافق أيضًا مع المعادلات التفاضلية العشوائية الحاكمة للمشكلة. تستفيد الشبكات العصبية المسترشدة بالفيزياء من قوة التعلم العميق مع مراعاة القيود التي تفرضها النماذج الفيزيائية، مما يؤدي إلى حلول أكثر دقة وموثوقية للمسائل المتعلقة بالرياضيات المالية.

إعادة بناء الصور

عدل

تُعَد عملية إعادة بناء الصور بمثابة إعادة تركيب الصورة الأصلية من القياسات المرتبطة بها. وقد أظهرت العديد من الدراسات تفوق أساليب التعلم العميق بشكل ملحوظ على الطرق التحليلية في مختلف التطبيقات، من بينها التصوير الطيفي، [267] والتصوير بالموجات فوق الصوتية.[268]

التنبؤ بالطقس

عدل

تعتمد أنظمة التنبؤ بالأحوال الجوية التقليدية على حل مجموعة معقدة من المعادلات التفاضلية الجزئية. أما نموذج جرافكاست القائم على التعلم العميق، فيعتمد على تدريب واسع على بيانات تاريخية للأحوال الجوية للتنبؤ بتطور الأنماط الجوية بمرور الوقت. ويتيح هذا النموذج القدرة على التنبؤ بالأحوال الجوية على مستوى العالم، بدقة تفصيلية عالية، وعلى مدى عشرة أيام، وذلك في زمن قياسي يقل عن دقيقة، بحيث تتساوى دقته مع أحدث الأنظمة المتخصصة.[269][270]

الساعة فوق الجينية

عدل
المقالة الرئيسة: الساعه الفوق جينية

الساعة فوق الجينية هي اختبار كيميائي حيوي يُستخدم لتقدير العمر البيولوجي. وقد استخدم غالكين وزملاؤه الشبكات العصبية العميقة لتدريب ساعة شيخوخة فوق جينية بدقة غير مسبوقة، وذلك باستخدام أكثر من 6000 عينة دم.[271] وتعتمد هذه الساعة على معلومات مستقاة من 1000 موقع ثنائي النوكليوتيد من نوع CpG، وتتمكن من التنبؤ بوجود حالات مرضية معينة لدى الأفراد، مثل داء الأمعاء الالتهابي، والخرف الجبهي الصدغي، وسرطان المبيض، والسمنة، وذلك بمعدل أعلى مقارنة بالأفراد الأصحاء. ومن المقرر إطلاق هذه الساعة للاستخدام العام في عام 2021 بواسطة شركة انزلك ميديكن الفرعية ديب لنجفتي.

العلاقة بالتنمية المعرفية وتطور الدماغ البشري

عدل

يرتبط التعلم العميق ارتباطًا وثيقًا بمجموعة من النظريات التطورية للدماغ، وتحديدًا تطور القشرة المخية الحديثة،[272][273] والتي طرحها علماء الأعصاب الإدراكيون في بدايات التسعينيات الميلادية.[274][275] وقد تجسّدت هذه النظريات التنموية في نماذج حسابية، مما جعلها سلفًا لأنظمة التعلم العميق. وتتشارك هذه النماذج التنموية في خاصية أن الديناميات التعليمية المختلفة المقترحة في الدماغ، مثل موجة عامل نمو الأعصاب، تدعم تنظيمًا ذاتيًا شبيهًا إلى حد كبير بتنظيم الشبكات العصبية المستخدمة في نماذج التعلم العميق. كالقشرة المخية الحديثة تستخدم الشبكات العصبية تسلسلًا هرميًا من المرشحات متعددة الطبقات، حيث تأخذ كل طبقة المعلومات من طبقة سابقة أو من بيئة التشغيل، ثم تمرر ناتجها، وربما الإدخال الأصلي، إلى طبقات أخرى. وتنتج هذه العملية مجموعة ذاتية التنظيم من المحولات، مضبوطة بدقة لبيئة تشغيلها. وقد ذكر وصف عام 1995م أن "... يبدو أن دماغ الرضيع ينظم نفسه تحت تأثير موجات مما يسمى عوامل التغذية... تتصل مناطق مختلفة من الدماغ بالتسلسل، مع نضج طبقة واحدة من الأنسجة قبل الأخرى وهكذا حتى ينضج الدماغ بأكمله".[276]

استُخدمت طائفة واسعة من الأساليب لدراسة مدى تقارب نماذج التعلم العميق مع النماذج العصبية البيولوجية. من ناحية، اقترح باحثون تعديلات عديدة على خوارزمية الانتشار العكسي لجعلها أكثر واقعية بيولوجيًا.[277][278] ودفع آخرون بأن أشكال التعلم العميق غير الموجه، مثل تلك القائمة على النماذج التوليدية الهرمية وشبكة الاعتقاد العميق، قد تكون أقرب إلى الواقع البيولوجي.[279][280] وفي هذا الصدد، رُبطت نماذج الشبكات العصبية التوليدية ببيانات عصبية بيولوجية حول المعالجة القائمة على التعيين في القشرة الدماغية.[281]

رغم غياب مقارنة منهجية بين تنظيم الدماغ البشري والتشفير العصبي في الشبكات العميقة حتى الآن، إلا أن العديد من أوجه التشابه قد لوحظت. فعلى سبيل المثال، يمكن أن تكون الحسابات التي تقوم بها وحدات التعلم العميق شبيهة بحسابات الخلايا العصبية الفردية، [282] والمجموعات العصبية.[283] وبالمثل، فإن التمثيلات التي تولدها نماذج التعلم العميق تشبه تلك التي قيست في نظام الرؤية عند الرئيسيات على مستوى الخلية العصبية الفردية، [284] وعلى مستوى المجموعات العصبية.[285]

النشاط التجاري

عدل

يشارك مختبر الذكاء الاصطناعي في فيسبوك بمهام شتى، من بينها وضع علامات آلية على الصور المُحمَّلة بأسماء الأشخاص الظاهرين فيها.[286] وقد طورت شركة ديب مايند التابعة لشركة غوغل نظامًا قادرًا على تعلم كيفية لعب ألعاب الفيديو من نوع أتاري مستخدمًا وحدات البكسل فقط كمدخلات للبيانات. وفي عام 2015، عرضت الشركة نظام ألفا غو الذي تعلم لعبة غو إلى حد الكفاءة الذي مكنه من هزيمة لاعب محترف في هذه اللعبة.[287][288][289] أما مترجم غوغل فيستخدم شبكة عصبية للترجمة بين أكثر من مئة لغة. وفي عام 2017 أطلقت شركة كوفاريانت دوت أي التي ركزت على دمج التعلم العميق في المصانع.[290]

في 2008 طور باحثون بجامعة تكساس في أوستن إطار عمل للتعلم الآلي أطلقوا عليه اسم "تامر"، [291] وهو اختصار للتدريب اليدوي عبر التعزيز التقييمي. وقد طرح هذا الإطار أساليب مبتكرة لتمكين الروبوتات وبرامج الحاسوب من تعلم كيفية أداء المهام المختلفة من خلال التفاعل المباشر مع معلم بشري.[262] وفي تطور لاحق لهذا الإطار، تم تقديم خوارزمية جديدة أُطلق عليها اسم "ديب تامر" في عام 2018م، وذلك في إطار تعاون مشترك بين مختبر أبحاث الجيش الأمريكي وعلماء من جامعة تكساس. وقد استعان "ديب تامر" بالتعلم العميق لتمكين الروبوتات من اكتساب مهارات جديدة من خلال الملاحظة البصرية.[262] بفضل "ديب تامر"، بات بإمكان الروبوت تعلم مهمة ما من خلال التفاعل المباشر مع مدرب بشري، أو من خلال مشاهدة مقاطع فيديو توثق أداء الإنسان للمهمة ذاتها. وبعد ذلك، يتدرب الروبوت على أداء المهمة بمساعدة المدرب الذي يقدم له تعليقات إيجابية وسلبية مثل "عمل جيد" و"عمل سيئ".[292]

الانتقادات والتعليقات

عدل

جذب التعلم العميق الانتقادات والتعليقات، في بعض الحالات من خارج مجال علوم الكمبيوتر.

النظرية

عدل
طالع أيضًا: ذكاء اصطناعي قابل للتفسير

من أبرز الانتقادات الموجهة إلى هذه الطرق نقص النظرية التي تقوم عليها.[293] فبينما يُنفذ التعلم في أغلب الشبكات العميقة باستعمال الانحدار التدريجي الذي يُفهم فهمًا جيدًا، فإن النظرية المتعلقة بخوارزميات أخرى، كخوارزمية التباعد المتناقض، أقل وضوحًا.[بحاجة لمصدر] (مثلاً، هل تتلاقى هذه الخوارزمية؟ وإذا كان الأمر كذلك، فما سرعة تلاقها؟ وما الذي تتلاقى إليه؟) وغالبًا ما تُعتبر أساليب التعلم العميق بمثابة صندوق أسود، حيث يركز معظم الباحثين على التجريب بدلًا من التحليل النظري.[294]

يرى آخرون أنه ينبغي النظر إلى التعلم العميق على أنه خطوة نحو تحقيق الذكاء الاصطناعي العام، وليس كحل شامل لكل المشكلات. فبالرغم من قوة أساليب التعلم العميق، إلا أنها لا تزال تفتقر إلى العديد من القدرات اللازمة لتحقيق هذا الهدف بالكامل. وقد أشار عالم النفس الباحث غاري ماركوس:

إن التعلم العميق، بحقائق الأمور، جزءٌ يسير من التحدي الجسيم المتمثل في بناء آلات ذكية. إذ تفتقر هذه التقنيات إلى سبل تمثل العلاقات السببية (...)، ولا تملك طرقًا واضحة لإجراء استنتاجات منطقية، كما أنها ما زالت بعيدة كل البعد عن دمج المعرفة المجردة، كالمعلومات المتعلقة بماهية الأشياء وغاياتها وكيفية استعمالها عادةً. وتستخدم أقوى أنظمة الذكاء الاصطناعي، كواتسون (...)، تقنيات كهذه كعنصر واحد فحسب في مجموعة بالغة التعقيد من التقنيات، تتراوح بين التقنيات الإحصائية للاستدلال البايزي إلى التفكير الاستنتاجي.[295]

في إشارة أخرى إلى فكرة أن الحساسية الفنية قد تكون متأصلة في مستويات منخفضة نسبيًا من التسلسل الهرمي الإدراكي، تُظهر سلسلة منشورة من التمثيلات الرسومية للحالات الداخلية للشبكات العصبية العميقة (عشرين إلى ثلاثين طبقة) التي تحاول التمييز بين البيانات العشوائية والصور التي تم تدريبها عليها جاذبيةً بصرية لافتة للنظر.[296] فقد حظي البحث الأصلي بأكثر من ألف تعليق، وكان موضوع المقالة الأكثر زيارةً على موقع الغارديان لفترة من الزمن.[297]

الأخطاء

عدل

تُبدي بعض نماذج التعلم العميق سلوكيات شاذة، [298] مثل تصنيف صور غير قابلة للتفكيك بثقة عالية ضمن فئات صور عادية معروفة مسبقاً، [299][300] وخطأ في تصنيف صور طرأ عليها تعديل طفيف بعد تصنيفها بشكل صحيح (2013).[298] اقترح جويرتزل أن هذه السلوكيات تعود إلى قيود في التمثيلات الداخلية لهذه النماذج، وأن هذه القيود ستعيق دمجها في أنظمة ذكاء اصطناعي عام (AGI) متعددة المكونات وغير متجانسة.[301] قد يتم التغلب على هذه المشكلات من خلال نماذج تعلم عميق تبني داخليًا حالات مماثلة للتحليلات النحوية للصور للكيانات والأحداث المرئية.[298] إن تعلم قواعد نحوية (بصرية أو لغوية) من بيانات التدريب يعادل فرض قيد على النظام بالتفكير المنطقي الذي يستند إلى مفاهيم قابلة للتعبير عنها بقواعد إنتاج نحوية، وهو هدف أساسي لكل من اكتساب اللغة البشرية [302] والذكاء الاصطناعي.[303]

التهديد السيبراني

عدل

مع انتقال تقنيات التعلم العميق من بيئة التجارب المعملية إلى عالم التطبيقات العملية، كشفت الأبحاث والدراسات المتتالية عن مدى قابلية الشبكات العصبية الاصطناعية للاختراق والتضليل.[304] فبفضل قدرتها على تحديد الأنماط المعقدة التي تعتمد عليها هذه الأنظمة في عملها، يستطيع المهاجمون التلاعب بمدخلاتها بطرق خفية، بحيث تتوهم الشبكة العصبية وجود تطابق معين لا يستطيع الإنسان العادي إدراكه. على سبيل المثال، يمكن للمهاجم إجراء تعديلات طفيفة على صورة بحيث تظن الشبكة العصبية أنها تطابق الصورة المستهدفة، على الرغم من أن الإنسان لا يلاحظ أي تغيير يذكر في الصورة. وتُعرف هذه الهجمات باسم هجمات التعلم الآلي العدائية.[305]

في عام 2016، نجح باحثون في استخدام شبكة عصبية اصطناعية واحدة لتعديل الصور بطريقة تجريبية، حيث كانت الشبكة تقوم بتحديد نقاط القوة والضعف في الشبكات العصبية الأخرى، ومن ثمّ تقوم بإنشاء صور مضللة لها. واللافت للنظر أن هذه الصور المعدلة بدت طبيعية تمامًا للعين البشرية. كما أثبتت مجموعة بحثية أخرى أن طباعة هذه الصور المعدلة ثم تصويرها مرة أخرى كانت كافية لخداع أنظمة تصنيف الصور المتقدمة.[306] ومن بين الحلول المقترحة لمواجهة هذه التحديات، نجد تقنية البحث العكسي عن الصور، والتي تعتمد على إرسال الصورة المشتبه فيها إلى محركات بحث متخصصة مثل "تن آي"، والتي بدورها تبحث عن صور مشابهة لها في قواعد بياناتها الضخمة. كما يمكن تطوير هذه التقنية لتشمل البحث عن أجزاء من الصورة، مما يزيد من دقة النتائج.[307]

أظهرت دراسة أخرى أن بعض أنواع النظارات المزودة بتقنيات التمويه يمكن أن تضلل أنظمة التعرف على الوجوه، مما يجعلها تخلط بين الأفراد العاديين والشخصيات الشهيرة. وبذلك يتسنى لشخص ما أن يتقمص هوية شخص آخر. وفي عام 2017، نجح باحثون في تضليل الشبكات العصبية الاصطناعية من خلال إضافة ملصقات إلى علامات التوقف، مما أدى إلى خطأ في تصنيفها.[306]

ومع ذلك، يمكن تدريب الشبكات العصبية الاصطناعية على اكتشاف محاولات الخداع هذه، مما قد يؤدي إلى نشوء صراع مستمر بين المهاجمين والمدافعين، يشبه إلى حد كبير السباق التسلحي في مجال مكافحة البرامج الضارة. وقد تم بالفعل تدريب شبكات عصبية اصطناعية على التغلب على برامج مكافحة البرامج الضارة القائمة على الشبكات العصبية الاصطناعية من خلال هجوم متكرر ومتطور على هذه البرامج. يتم ذلك عن طريق تعديل البرامج الضارة بشكل مستمر باستخدام خوارزميات وراثية، حتى تنجح في خداع برنامج مكافحة البرامج الضارة مع الحفاظ على قدرتها على إلحاق الضرر بالهدف.[306]

في عام 2016، بيّنت مجموعة بحثية أن أصواتًا معينة قادرة على توجيه نظام جوجل ناو الصوتي لفتح عنوان ويب محدد. وخلص الباحثون إلى أن هذه الثغرة يمكن استغلالها كمنطلق لشن هجمات أكثر تعقيدًا، مثل فتح صفحات ويب تضم برمجيات خبيثة.[306]

يتمثل جوهر الهجمات العدائية في مجال تعلم الآلة في التلاعب المتعمد ببيانات التدريب المقدمة لأنظمة التعلم الآلي، بهدف إعاقتها عن تحقيق الكفاءة المرجوة.[306]

أخلاقيات جمع البيانات

عدل

تعتمد أغلب أنظمة التعلم العميق على بيانات التدريب والتحقق التي ينشئها البشر أو يشرحونها.[308] وقد جادلت فلسفة الإعلام بأن العمل اليدوي ذو الأجر المتدني لا يُنشر بانتظام فقط لهذا الغرض (كما في منصة أمازون ميكانيكال تورك)، بل إن الأشكال الضمنية للعمل البشري الجزئي التي غالبًا ما تُتجاهل بهذا الصدد تُنشر أيضًا.[309] ويميز الفيلسوف راينر مولهاف بين خمسة أنواع من "الالتقاط الآلي" للعمل البشري الجزئي بهدف توليد بيانات التدريب وهي:

يُجادل مولهاف بأن أغلب التطبيقات التجارية للتعلم العميق التي يتفاعل معها المستخدم مباشرة، مثل نظام التعرف على الوجوه في فيسبوك، لا يكفي فيها تدريب الشبكة العصبية الاصطناعية مرة واحدة. بل إن هناك حاجة مستمرة إلى بيانات تحقق يوفرها الإنسان لمعايرة الشبكة العصبية وتحديثها بشكل متواصل. ولتحقيق هذا الغرض، قدم فيسبوك ميزة تتيح للمستخدم، حالما يتعرف النظام عليه في صورة ما، أن يتلقى إشعارًا. ويمكن للمستخدم حينها أن يختار ما إذا كان يرغب في وضع علامة عليه علنًا على الصورة أم لا، أو أن يبلغ فيسبوك بأن الصورة ليست له.[310] وتعد هذه الواجهة التفاعلية آلية لتوليد "تدفق مستمر من بيانات التحقق"، [309] التي تساهم في مواصلة تدريب الشبكة في الوقت الفعلي. ويرى مولهاف أن مشاركة المستخدمين من البشر في توفير بيانات التدريب والتحقق هي سمة أساسية في معظم تطبيقات التعلم العميق التجارية التي يتفاعل معها المستخدم مباشرة، لدرجة أنه يمكن وصف هذه الأنظمة بأنها "ذكاء اصطناعي بمساعدة الإنسان".[309]

انظر أيضًا

عدل

مواقع خارجية

عدل

مجموعات ابحاث

عدل

نماذج للتعلم المتعمق

عدل

مواقع تدريب

عدل
  • المدرسة الصيفية للتعلم المتعمق - مجموعة أفلام تدريبية - جامعة مونتريال 2015.
  • جيل جديد من الشبكيات العصبية - فيديو يوتيوب عن طريق جوجل تولك - ديسمبر 2007.

مراجع

عدل
  1. ^ معجم البيانات والذكاء الاصطناعي (PDF) (بالعربية والإنجليزية)، الهيئة السعودية للبيانات والذكاء الاصطناعي، 2022، ص. 62، QID:Q111421033
  2. ^ "Online". مؤرشف من الأصل في 2018-01-27. اطلع عليه بتاريخ 2024-10-08.
  3. ^ ا ب Deng، L.؛ Yu، D. (2014). "Deep Learning: Methods and Applications" (PDF). Foundations and Trends in Signal Processing. ج. 7 ع. 3–4: 1–199. DOI:10.1561/2000000039. مؤرشف من الأصل (pdf) في 2016-03-14. اطلع عليه بتاريخ 2024-10-08.
  4. ^ ا ب ج Bengio، Y.؛ Courville، A.؛ Vincent، P. (2013). "Representation Learning: A Review and New Perspectives". IEEE Transactions on Pattern Analysis and Machine Intelligence. ج. 35 ع. 8: 1798–1828. arXiv:1206.5538. DOI:10.1109/tpami.2013.50. مؤرشف من الأصل في 2024-09-17. اطلع عليه بتاريخ 2024-10-08.
  5. ^ Bengio، Yoshua (2009). "Learning Deep Architectures for AI" (PDF). Foundations and Trends in Machine Learning. ج. 2 ع. 1: 1–127. DOI:10.1561/2200000006. مؤرشف من الأصل (pdf) في 2016-03-04. اطلع عليه بتاريخ 2024-10-08.
  6. ^ "موقع ديب ليرننغ الرسمي". مؤرشف من الأصل في 2017-12-13. اطلع عليه بتاريخ 2024-10-08.
  7. ^ Schmidhuber، Jürgen (2015). "Deep Learning". Scholarpedia. ج. 10 ع. 11: 32832. DOI:10.4249/scholarpedia.32832. مؤرشف من الأصل في 2019-05-24. اطلع عليه بتاريخ 2024-10-08.{{استشهاد بدورية محكمة}}: صيانة الاستشهاد: دوي مجاني غير معلم (link)
  8. ^ Bengio، Yoshua؛ LeCun، Yann؛ Hinton، Geoffrey (2015). "Deep Learning". Nature. ج. 521: 436–444. DOI:10.1038/nature14539. مؤرشف من الأصل في 2023-06-05. اطلع عليه بتاريخ 2024-10-08.
  9. ^ Deep Machine Learning – A New Frontier in Artificial Intelligence Research – a survey paper by Itamar Arel, Derek C. Rose, and Thomas P. Karnowski. IEEE Computational Intelligence Magazine, 2013
  10. ^ Carlos E. Perez. "A Pattern Language for Deep Learning". مؤرشف من الأصل في 2017-06-03. اطلع عليه بتاريخ 2024-10-08.
  11. ^ LeCun، Yann؛ Bengio، Yoshua؛ Hinton، Geoffrey (2015). "Deep Learning" (PDF). Nature. ج. 521 ع. 7553: 436–444. Bibcode:2015Natur.521..436L. DOI:10.1038/nature14539. PMID:26017442. S2CID:3074096. مؤرشف من الأصل (pdf) في 2024-09-17. اطلع عليه بتاريخ 2024-10-08.
  12. ^ ا ب Schmidhuber، J. (2015). "Deep Learning in Neural Networks: An Overview". Neural Networks. ج. 61: 85–117. arXiv:1404.7828. DOI:10.1016/j.neunet.2014.09.003. مؤرشف من الأصل في 2024-09-27. اطلع عليه بتاريخ 2024-10-08.
  13. ^ Ciresan، D.؛ Meier، U.؛ Schmidhuber، J. (2012). "Multi-column deep neural networks for image classification". 2012 IEEE Conference on Computer Vision and Pattern Recognition. ص. 3642–3649. arXiv:1202.2745. DOI:10.1109/cvpr.2012.6248110. ISBN:978-1-4673-1228-8. S2CID:2161592. مؤرشف من الأصل في 2024-09-14. اطلع عليه بتاريخ 2024-10-08.
  14. ^ Krizhevsky، Alex؛ Sutskever، Ilya؛ Hinton، Geoffrey (2012). "ImageNet Classification with Deep Convolutional Neural Networks" (pdf). NIPS 2012: Neural Information Processing Systems, Lake Tahoe, Nevada. مؤرشف (PDF) من الأصل في 2017-01-10. اطلع عليه بتاريخ 2017-05-24.
  15. ^ "Google's AlphaGo AI wins three-match series against the world's best Go player". TechCrunch. 25 مايو 2017. مؤرشف من الأصل في 2018-06-17. اطلع عليه بتاريخ 2018-06-17.
  16. ^ "Study urges caution when comparing neural networks to the brain". MIT News | Massachusetts Institute of Technology (بالإنجليزية). 02 Nov 2022. Archived from the original on 2024-09-17. Retrieved 2023-12-06.
  17. ^ Glauner، P. (2015). Deep Convolutional Neural Networks for Smile Recognition (MSc Thesis). كلية لندن الإمبراطورية, Department of Computing. arXiv:1508.06535.
  18. ^ Song، H.A.؛ Lee، S. Y. (2013). "Hierarchical Representation Using NMF". Neural Information Processing. Lectures Notes in Computer Sciences. سبرنجر. ج. 8226. ص. 466–473. DOI:10.1007/978-3-642-42054-2_58. ISBN:978-3-642-42053-5. اطلع عليه بتاريخ 2024-10-08.
  19. ^ Olshausen، B. A. (1996). "Emergence of simple-cell receptive field properties by learning a sparse code for natural images". Nature. ج. 381 ع. 6583: 607–609. DOI:10.1038/381607a0. مؤرشف من الأصل في 2023-02-09. اطلع عليه بتاريخ 2024-10-08.
  20. ^ ا ب ج Bengio، Yoshua (2009). "Learning Deep Architectures for AI" (PDF). Foundations and Trends in Machine Learning. ج. 2 ع. 1: 1–127. CiteSeerX:10.1.1.701.9550. DOI:10.1561/2200000006. S2CID:207178999. مؤرشف من الأصل (pdf) في 2016-03-04. اطلع عليه بتاريخ 2015-09-03.
  21. ^ Bengio، Y.؛ Courville، A.؛ Vincent، P. (2013). "Representation Learning: A Review and New Perspectives". IEEE Transactions on Pattern Analysis and Machine Intelligence. ج. 35 ع. 8: 1798–1828. arXiv:1206.5538. DOI:10.1109/tpami.2013.50. PMID:23787338. S2CID:393948. مؤرشف من الأصل في 2024-09-17. اطلع عليه بتاريخ 2024-10-08.
  22. ^ LeCun، Yann؛ Bengio، Yoshua؛ Hinton، Geoffrey (2015). "Deep Learning" (PDF). Nature. ج. 521 ع. 7553: 436–444. Bibcode:2015Natur.521..436L. DOI:10.1038/nature14539. PMID:26017442. S2CID:3074096. مؤرشف من الأصل (pdf) في 2024-09-17. اطلع عليه بتاريخ 2024-10-08.
  23. ^ ا ب ج د Schmidhuber، J. (2015). "Deep Learning in Neural Networks: An Overview". Neural Networks. ج. 61: 85–117. arXiv:1404.7828. DOI:10.1016/j.neunet.2014.09.003. PMID:25462637. S2CID:11715509. مؤرشف من الأصل في 2024-09-27. اطلع عليه بتاريخ 2024-10-08.
  24. ^ Shigeki, Sugiyama (12 Apr 2019). Human Behavior and Another Kind in Consciousness: Emerging Research and Opportunities: Emerging Research and Opportunities (بالإنجليزية). IGI Global. ISBN:978-1-5225-8218-2. Archived from the original on 2024-04-03. Retrieved 2024-10-08.
  25. ^ Bengio، Yoshua؛ Lamblin، Pascal؛ Popovici، Dan؛ Larochelle، Hugo (2007). "Greedy layer-wise training of deep networks" (pdf). Advances in neural information processing systems. Advances in Neural Information Processing Systems. ص. 153–160. مؤرشف (PDF) من الأصل في 2019-10-20. اطلع عليه بتاريخ 2019-10-06.
  26. ^ Hinton، G.E. (2009). "Deep belief networks". Scholarpedia. ج. 4 ع. 5: 5947. Bibcode:2009SchpJ...4.5947H. DOI:10.4249/scholarpedia.5947. مؤرشف من الأصل في 2024-08-17. اطلع عليه بتاريخ 2024-10-08.
  27. ^ "Online". Preprint. مؤرشف من الأصل في 2016-04-19. اطلع عليه بتاريخ 2024-10-08.
  28. ^ Aizenberg, I.N.؛ Aizenberg, N.N.؛ Vandewalle, J. (2000). Multi-Valued and Universal Binary Neurons. Science & Business Media. DOI:10.1007/978-1-4757-3115-6. ISBN:978-0-7923-7824-2. مؤرشف من الأصل في 2023-12-27. اطلع عليه بتاريخ 2023-12-27.
  29. ^ Co-evolving recurrent neurons learn deep memory POMDPs. Proc. GECCO, Washington, D. C., pp. 1795–1802, ACM Press, New York, NY, USA, 2005.
  30. ^ Fradkov، Alexander L. (01 يناير 2020). "Early History of Machine Learning". IFAC-PapersOnLine. 21st IFAC World Congress. ج. 53 ع. 2: 1385–1390. DOI:10.1016/j.ifacol.2020.12.1888. ISSN:2405-8963. S2CID:235081987. مؤرشف من الأصل في 2024-04-13. اطلع عليه بتاريخ 2024-10-08.
  31. ^ ا ب Hornik، Kurt (1991). "Approximation Capabilities of Multilayer Feedforward Networks". Neural Networks. ج. 4 ع. 2: 251–257. DOI:10.1016/0893-6080(91)90009-t. S2CID:7343126. مؤرشف من الأصل في 2024-09-29. اطلع عليه بتاريخ 2024-10-08.
  32. ^ ا ب Haykin، Simon S. (1999). Neural Networks: A Comprehensive Foundation. Prentice Hall. ISBN:978-0-13-273350-2. مؤرشف من الأصل في 2023-12-16. اطلع عليه بتاريخ 2024-10-08.
  33. ^ Orhan، A. E.؛ Ma، W. J. (2017). "Efficient probabilistic inference in generic neural networks trained with non-probabilistic feedback". Nature Communications. ج. 8 ع. 1: 138. Bibcode:2017NatCo...8..138O. DOI:10.1038/s41467-017-00181-8. PMC:5527101. PMID:28743932. مؤرشف من الأصل في 2024-07-11. اطلع عليه بتاريخ 2024-10-08.
  34. ^ Hassoun، Mohamad H. (1995). Fundamentals of Artificial Neural Networks. MIT Press. ص. 48. ISBN:978-0-262-08239-6. مؤرشف من الأصل في 2018-06-15. اطلع عليه بتاريخ 2024-10-08.
  35. ^ Cybenko (1989). "Approximations by superpositions of sigmoidal functions" (PDF). Mathematics of Control, Signals, and Systems. ج. 2 ع. 4: 303–314. Bibcode:1989MCSS....2..303C. DOI:10.1007/bf02551274. S2CID:3958369. مؤرشف من الأصل (pdf) في 2015-10-10. اطلع عليه بتاريخ 2024-10-08.
  36. ^ ا ب Fukushima، K. (1969). "Visual feature extraction by a multilayered network of analog threshold elements". IEEE Transactions on Systems Science and Cybernetics. ج. 5 ع. 4: 322–333. DOI:10.1109/TSSC.1969.300225. مؤرشف من الأصل في 2024-09-03. اطلع عليه بتاريخ 2024-10-08.
  37. ^ Sonoda، Sho؛ Murata، Noboru (2017). "Neural network with unbounded activation functions is universal approximator". Applied and Computational Harmonic Analysis. ج. 43 ع. 2: 233–268. arXiv:1505.03654. DOI:10.1016/j.acha.2015.12.005. S2CID:12149203. مؤرشف من الأصل في 2024-06-11. اطلع عليه بتاريخ 2024-10-08.
  38. ^ "The Expressive Power of Neural Networks: A View from the Width". Advances in Neural Information Processing Systems. مؤرشف من الأصل في 2019-02-13. اطلع عليه بتاريخ 2024-10-08.
  39. ^ ا ب ج Murphy، Kevin P. (24 أغسطس 2012). Machine Learning: A Probabilistic Perspective. MIT Press. ISBN:978-0-262-01802-9. مؤرشف من الأصل في 2024-01-17. اطلع عليه بتاريخ 2024-10-08.
  40. ^ ا ب Deng، L.؛ Yu، D. (2014). "Deep Learning: Methods and Applications" (pdf). Foundations and Trends in Signal Processing. ج. 7 ع. 3–4: 1–199. DOI:10.1561/2000000039. مؤرشف (PDF) من الأصل في 2016-03-14. اطلع عليه بتاريخ 2014-10-18.
  41. ^ Bishop, Christopher M. (2006). Pattern Recognition and Machine Learning (pdf). Springer. ISBN:978-0-387-31073-2. مؤرشف (PDF) من الأصل في 2017-01-11. اطلع عليه بتاريخ 2017-08-06.
  42. ^ ا ب "bibliotheca Augustana". www.hs-augsburg.de. مؤرشف من الأصل في 2024-09-15. اطلع عليه بتاريخ 2024-10-08.
  43. ^ Brush، Stephen G. (1967). "History of the Lenz-Ising Model". Reviews of Modern Physics. ج. 39 ع. 4: 883–893. Bibcode:1967RvMP...39..883B. DOI:10.1103/RevModPhys.39.883. مؤرشف من الأصل في 2024-09-07. اطلع عليه بتاريخ 2024-10-08.
  44. ^ ا ب Amari، Shun-Ichi (1972). "Learning patterns and pattern sequences by self-organizing nets of threshold elements". IEEE Transactions. ج. C ع. 21: 1197–1206.
  45. ^ ا ب ج د ه و Schmidhuber، Jürgen (2022). "Annotated History of Modern AI and Deep Learning". arXiv:2212.11279 [cs.NE]. {{استشهاد بأرخايف}}: الوسيط |arxiv= مطلوب (مساعدة)
  46. ^ Hopfield، J. J. (1982). "Neural networks and physical systems with emergent collective computational abilities". Proceedings of the National Academy of Sciences. ج. 79 ع. 8: 2554–2558. Bibcode:1982PNAS...79.2554H. DOI:10.1073/pnas.79.8.2554. PMC:346238. PMID:6953413. مؤرشف من الأصل في 2024-10-03. اطلع عليه بتاريخ 2024-10-08.
  47. ^ Nakano، Kaoru (1971). "Learning Process in a Model of Associative Memory". Pattern Recognition and Machine Learning. ص. 172–186. DOI:10.1007/978-1-4615-7566-5_15. ISBN:978-1-4615-7568-9. مؤرشف من الأصل في 2024-09-15. اطلع عليه بتاريخ 2024-10-08.
  48. ^ Nakano، Kaoru (1972). "Associatron-A Model of Associative Memory". IEEE Transactions on Systems, Man, and Cybernetics. SMC-2 ع. 3: 380–388. DOI:10.1109/TSMC.1972.4309133. مؤرشف من الأصل في 2024-09-15. اطلع عليه بتاريخ 2024-10-08.
  49. ^ Turing، Alan (1948). "Intelligent Machinery". Unpublished (Later Published in Ince DC, Editor, Collected Works of AM Turing—Mechanical Intelligence, Elsevier Science Publishers, 1992).
  50. ^ Rosenblatt, F. (1958). "The perceptron: A probabilistic model for information storage and organization in the brain". Psychological Review (بالإنجليزية). 65 (6): 386–408. DOI:10.1037/h0042519. ISSN:1939-1471. PMID:13602029. Archived from the original on 2024-09-15. Retrieved 2024-10-08.
  51. ^ ا ب Rosenblatt، Frank (1962). Principles of Neurodynamics. Spartan, New York.
  52. ^ Joseph، R. D. (1960). Contributions to Perceptron Theory, Cornell Aeronautical Laboratory Report No. VG-11 96--G-7, Buffalo.
  53. ^ Ivakhnenko، A. G.؛ Lapa، V. G. (1967). Cybernetics and Forecasting Techniques. American Elsevier Publishing Co. ISBN:978-0-444-00020-0. مؤرشف من الأصل في 2024-04-23. اطلع عليه بتاريخ 2024-10-08.
  54. ^ Ivakhnenko, A.G. (Mar 1970). "Heuristic self-organization in problems of engineering cybernetics". Automatica (بالإنجليزية). 6 (2): 207–219. DOI:10.1016/0005-1098(70)90092-0. Archived from the original on 2024-08-12. Retrieved 2024-10-08.
  55. ^ ا ب Ivakhnenko، Alexey (1971). "Polynomial theory of complex systems" (pdf). IEEE Transactions on Systems, Man, and Cybernetics. SMC-1 ع. 4: 364–378. DOI:10.1109/TSMC.1971.4308320. مؤرشف (PDF) من الأصل في 2017-08-29. اطلع عليه بتاريخ 2019-11-05.
  56. ^ Robbins، H.؛ Monro، S. (1951). "A Stochastic Approximation Method". The Annals of Mathematical Statistics. ج. 22 ع. 3: 400. DOI:10.1214/aoms/1177729586. مؤرشف من الأصل في 2024-09-27. اطلع عليه بتاريخ 2024-10-08.
  57. ^ Amari، Shun'ichi (1967). "A theory of adaptive pattern classifier". IEEE Transactions. ج. EC ع. 16: 279–307.
  58. ^ Ramachandran، Prajit؛ Barret، Zoph؛ Quoc، V. Le (16 أكتوبر 2017). "Searching for Activation Functions". arXiv:1710.05941 [cs.NE]. {{استشهاد بأرخايف}}: الوسيط |arxiv= مطلوب (مساعدة)
  59. ^ Fukushima، K. (1979). "Neural network model for a mechanism of pattern recognition unaffected by shift in position—Neocognitron". Trans. IECE (In Japanese). J62-A ع. 10: 658–665. DOI:10.1007/bf00344251. PMID:7370364. S2CID:206775608. مؤرشف من الأصل في 2024-10-03. اطلع عليه بتاريخ 2024-10-08.
  60. ^ Fukushima، K. (1980). "Neocognitron: A self-organizing neural network model for a mechanism of pattern recognition unaffected by shift in position". Biol. Cybern. ج. 36 ع. 4: 193–202. DOI:10.1007/bf00344251. PMID:7370364. S2CID:206775608. مؤرشف من الأصل في 2024-10-03. اطلع عليه بتاريخ 2024-10-08.
  61. ^ Leibniz, Gottfried Wilhelm Freiherr von (1920). The Early Mathematical Manuscripts of Leibniz: Translated from the Latin Texts Published by Carl Immanuel Gerhardt with Critical and Historical Notes (Leibniz published the chain rule in a 1676 memoir) (بالإنجليزية). Open court publishing Company. ISBN:9780598818461. Archived from the original on 2024-06-24. Retrieved 2024-10-08.
  62. ^ Kelley، Henry J. (1960). "Gradient theory of optimal flight paths". ARS Journal. ج. 30 ع. 10: 947–954. DOI:10.2514/8.5282. مؤرشف من الأصل في 2024-10-01. اطلع عليه بتاريخ 2024-10-08.
  63. ^ Linnainmaa, Seppo (1970). The representation of the cumulative rounding error of an algorithm as a Taylor expansion of the local rounding errors (Masters) (بالفنلندية). University of Helsinki. p. 6–7.
  64. ^ Linnainmaa، Seppo (1976). "Taylor expansion of the accumulated rounding error". BIT Numerical Mathematics. ج. 16 ع. 2: 146–160. DOI:10.1007/bf01931367. S2CID:122357351. مؤرشف من الأصل في 2024-08-15. اطلع عليه بتاريخ 2024-10-08.
  65. ^ Ostrovski, G.M., Volin,Y.M., and Boris, W.W. (1971). On the computation of derivatives. Wiss. Z. Tech. Hochschule for Chemistry, 13:382–384.
  66. ^ ا ب Schmidhuber، Juergen (25 أكتوبر 2014). "Who Invented Backpropagation?". TR FKI-148, TU Munich. IDSIA, Switzerland. مؤرشف من الأصل في 2024-07-30. اطلع عليه بتاريخ 2024-09-14.
  67. ^ Werbos، Paul (1982). "Applications of advances in nonlinear sensitivity analysis" (PDF). System modeling and optimization. Springer. ص. 762–770. مؤرشف (PDF) من الأصل في 2016-04-14.
  68. ^ Werbos، Paul J. (1994). The Roots of Backpropagation : From Ordered Derivatives to Neural Networks and Political Forecasting. New York: John Wiley & Sons. ISBN:0-471-59897-6.
  69. ^ Rumelhart, David E.; Hinton, Geoffrey E.; Williams, Ronald J. (Oct 1986). "Learning representations by back-propagating errors". Nature (بالإنجليزية). 323 (6088): 533–536. Bibcode:1986Natur.323..533R. DOI:10.1038/323533a0. ISSN:1476-4687. Archived from the original on 2023-10-17. Retrieved 2024-10-08.
  70. ^ "Learning Internal Representations by Error Propagation" (PDF). مؤرشف من الأصل (pdf) في 2022-10-13. اطلع عليه بتاريخ 2024-10-08.
  71. ^ Waibel، Alex (ديسمبر 1987). "Phoneme Recognition Using Time-Delay Neural Networks" (PDF). Meeting of the Institute of Electrical, Information and Communication Engineers (IEICE). Tokyo, Japan. مؤرشف من الأصل (pdf) في 2024-09-17. اطلع عليه بتاريخ 2024-10-08.
  72. ^ Alexander Waibel et al., Phoneme Recognition Using Time-Delay Neural Networks IEEE Transactions on Acoustics, Speech, and Signal Processing, Volume 37, No. 3, pp. 328. – 339 March 1989.
  73. ^ Zhang، Wei (1988). "Shift-invariant pattern recognition neural network and its optical architecture". Proceedings of Annual Conference of the Japan Society of Applied Physics. مؤرشف من الأصل في 2024-06-19. اطلع عليه بتاريخ 2024-10-08.
  74. ^ LeCun et al., "Backpropagation Applied to Handwritten Zip Code Recognition", Neural Computation, 1, pp. 541–551, 1989.
  75. ^ Zhang، Wei (1990). "Parallel distributed processing model with local space-invariant interconnections and its optical architecture". Applied Optics. ج. 29 ع. 32: 4790–7. Bibcode:1990ApOpt..29.4790Z. DOI:10.1364/AO.29.004790. PMID:20577468. مؤرشف من الأصل في 2024-04-16. اطلع عليه بتاريخ 2024-10-08.
  76. ^ Zhang، Wei (1991). "Image processing of human corneal endothelium based on a learning network". Applied Optics. ج. 30 ع. 29: 4211–7. Bibcode:1991ApOpt..30.4211Z. DOI:10.1364/AO.30.004211. PMID:20706526. مؤرشف من الأصل في 2024-06-19. اطلع عليه بتاريخ 2024-10-08.
  77. ^ Zhang، Wei (1994). "Computerized detection of clustered microcalcifications in digital mammograms using a shift-invariant artificial neural network". Medical Physics. ج. 21 ع. 4: 517–24. Bibcode:1994MedPh..21..517Z. DOI:10.1118/1.597177. PMID:8058017. مؤرشف من الأصل في 2024-06-20. اطلع عليه بتاريخ 2024-10-08.
  78. ^ LeCun، Yann؛ Léon Bottou؛ Yoshua Bengio؛ Patrick Haffner (1998). "Gradient-based learning applied to document recognition" (PDF). Proceedings of the IEEE. ج. 86 ع. 11: 2278–2324. CiteSeerX:10.1.1.32.9552. DOI:10.1109/5.726791. S2CID:14542261. مؤرشف من الأصل (pdf) في 2024-10-02. اطلع عليه بتاريخ 2016-10-07.
  79. ^ Jordan, Michael I. (1986). "Attractor dynamics and parallelism in a connectionist sequential machine". Proceedings of the Annual Meeting of the Cognitive Science Society (بالإنجليزية). 8. Archived from the original on 2024-08-07. Retrieved 2024-10-08.
  80. ^ Elman, Jeffrey L. (Mar 1990). "Finding Structure in Time". Cognitive Science (بالإنجليزية). 14 (2): 179–211. DOI:10.1207/s15516709cog1402_1. ISSN:0364-0213. Archived from the original on 2024-09-26. Retrieved 2024-10-08.
  81. ^ ا ب ج Schmidhuber، Jürgen (أبريل 1991). "Neural Sequence Chunkers" (PDF). TR FKI-148, TU Munich. مؤرشف من الأصل (pdf) في 2024-09-14. اطلع عليه بتاريخ 2024-10-08.
  82. ^ ا ب Schmidhuber، Jürgen (1992). "Learning complex, extended sequences using the principle of history compression (based on TR FKI-148, 1991)" (PDF). Neural Computation. ج. 4 ع. 2: 234–242. DOI:10.1162/neco.1992.4.2.234. S2CID:18271205. مؤرشف من الأصل (pdf) في 2024-09-14. اطلع عليه بتاريخ 2024-10-08.
  83. ^ Schmidhuber، Jürgen (1993). Habilitation thesis: System modeling and optimization (PDF). مؤرشف من الأصل (pdf) في 2024-08-07. اطلع عليه بتاريخ 2024-10-08.[وصلة مكسورة] Page 150 ff demonstrates credit assignment across the equivalent of 1,200 layers in an unfolded RNN.
  84. ^ ا ب "Untersuchungen zu dynamischen neuronalen Netzen" (PDF). TR FKI-148, TU Munich. مؤرشف من الأصل (pdf) في 2015-03-06. اطلع عليه بتاريخ 2024-10-08.
  85. ^ Hochreiter، S.؛ وآخرون (15 يناير 2001). "Gradient flow in recurrent nets: the difficulty of learning long-term dependencies". في Kolen، John F.؛ Kremer، Stefan C. (المحررون). A Field Guide to Dynamical Recurrent Networks. John Wiley & Sons. ISBN:978-0-7803-5369-5.
  86. ^ Sepp Hochreiter; Jürgen Schmidhuber (21 Aug 1995), Long Short Term Memory (بالإنجليزية), QID:Q98967430
  87. ^ Gers، Felix؛ Schmidhuber، Jürgen؛ Cummins، Fred (1999). "Learning to forget: Continual prediction with LSTM". 9th International Conference on Artificial Neural Networks: ICANN '99. ج. 1999. ص. 850–855. DOI:10.1049/cp:19991218. ISBN:0-85296-721-7. مؤرشف من الأصل في 2024-09-07. اطلع عليه بتاريخ 2024-10-08.
  88. ^ ا ب Schmidhuber، Jürgen (1991). "A possibility for implementing curiosity and boredom in model-building neural controllers". Proc. SAB'1991. MIT Press/Bradford Books. ص. 222–227.
  89. ^ Schmidhuber، Jürgen (2010). "Formal Theory of Creativity, Fun, and Intrinsic Motivation (1990-2010)". IEEE Transactions on Autonomous Mental Development. ج. 2 ع. 3: 230–247. DOI:10.1109/TAMD.2010.2056368. S2CID:234198. مؤرشف من الأصل في 2024-09-26. اطلع عليه بتاريخ 2024-10-08.
  90. ^ ا ب Schmidhuber, Jürgen (2020). "Generative Adversarial Networks are Special Cases of Artificial Curiosity (1990) and also Closely Related to Predictability Minimization (1991)". Neural Networks (بالإنجليزية). 127: 58–66. arXiv:1906.04493. DOI:10.1016/j.neunet.2020.04.008. PMID:32334341. S2CID:216056336. Archived from the original on 2024-06-10. Retrieved 2024-10-08.
  91. ^ Ackley، David H.؛ Hinton، Geoffrey E.؛ Sejnowski، Terrence J. (01 يناير 1985). "A learning algorithm for boltzmann machines". Cognitive Science. ج. 9 ع. 1: 147–169. DOI:10.1016/S0364-0213(85)80012-4 (غير نشط 7 أغسطس 2024). ISSN:0364-0213. مؤرشف من الأصل في 2024-09-17. اطلع عليه بتاريخ 2024-10-08.{{استشهاد بدورية محكمة}}: صيانة الاستشهاد: وصلة دوي غير نشطة منذ 2024 (link)
  92. ^ Smolensky، Paul (1986). "Chapter 6: Information Processing in Dynamical Systems: Foundations of Harmony Theory" (PDF). في Rumelhart، David E.؛ McLelland، James L. (المحررون). Parallel Distributed Processing: Explorations in the Microstructure of Cognition, Volume 1: Foundations. MIT Press. ص. 194–281. ISBN:0-262-68053-X.
  93. ^ Peter، Dayan؛ Hinton، Geoffrey E.؛ Neal، Radford M.؛ Zemel، Richard S. (1995). "The Helmholtz machine". Neural Computation. ج. 7 ع. 5: 889–904. DOI:10.1162/neco.1995.7.5.889. hdl:21.11116/0000-0002-D6D3-E. PMID:7584891. S2CID:1890561. مؤرشف من الأصل في 2024-09-28. اطلع عليه بتاريخ 2024-10-08.  
  94. ^ Hinton، Geoffrey E.؛ Dayan، Peter؛ Frey، Brendan J.؛ Neal، Radford (26 مايو 1995). "The wake-sleep algorithm for unsupervised neural networks". Science. ج. 268 ع. 5214: 1158–1161. Bibcode:1995Sci...268.1158H. DOI:10.1126/science.7761831. PMID:7761831. S2CID:871473. مؤرشف من الأصل في 2024-10-03. اطلع عليه بتاريخ 2024-10-08.
  95. ^ Sejnowski، Terrence J. (2018). The deep learning revolution. Cambridge, Massachusetts: The MIT Press. ISBN:978-0-262-03803-4.
  96. ^ Qian، Ning؛ Sejnowski، Terrence J. (20 أغسطس 1988). "Predicting the secondary structure of globular proteins using neural network models". Journal of Molecular Biology. ج. 202 ع. 4: 865–884. DOI:10.1016/0022-2836(88)90564-5. ISSN:0022-2836. PMID:3172241. مؤرشف من الأصل في 2022-01-24. اطلع عليه بتاريخ 2024-10-08.
  97. ^ Morgan، Nelson؛ Bourlard، Hervé؛ Renals، Steve؛ Cohen، Michael؛ Franco، Horacio (1 أغسطس 1993). "Hybrid neural network/hidden markov model systems for continuous speech recognition". International Journal of Pattern Recognition and Artificial Intelligence. ج. 07 ع. 4: 899–916. DOI:10.1142/s0218001493000455. ISSN:0218-0014. مؤرشف من الأصل في 2024-06-15. اطلع عليه بتاريخ 2024-10-08.
  98. ^ Robinson، T. (1992). "A real-time recurrent error propagation network word recognition system". ICASSP. Icassp'92: 617–620. ISBN:9780780305328. مؤرشف من الأصل في 2021-05-09. اطلع عليه بتاريخ 2017-06-12.
  99. ^ Waibel، A.؛ Hanazawa، T.؛ Hinton، G.؛ Shikano، K.؛ Lang، K. J. (مارس 1989). "Phoneme recognition using time-delay neural networks" (pdf). IEEE Transactions on Acoustics, Speech, and Signal Processing. ج. 37 ع. 3: 328–339. DOI:10.1109/29.21701. hdl:10338.dmlcz/135496. ISSN:0096-3518. S2CID:9563026. مؤرشف (PDF) من الأصل في 2021-04-27. اطلع عليه بتاريخ 2019-09-24.
  100. ^ Baker، J.؛ Deng، Li؛ Glass، Jim؛ Khudanpur، S.؛ Lee، C.-H.؛ Morgan، N.؛ O'Shaughnessy، D. (2009). "Research Developments and Directions in Speech Recognition and Understanding, Part 1". IEEE Signal Processing Magazine. ج. 26 ع. 3: 75–80. Bibcode:2009ISPM...26...75B. DOI:10.1109/msp.2009.932166. hdl:1721.1/51891. S2CID:357467. مؤرشف من الأصل في 2024-08-15. اطلع عليه بتاريخ 2024-10-08.
  101. ^ Bengio، Y. (1991). "Artificial Neural Networks and their Application to Speech/Sequence Recognition". Preprint. McGill University Ph.D. thesis. مؤرشف من الأصل في 2021-05-09. اطلع عليه بتاريخ 2017-06-12.
  102. ^ Deng، L.؛ Hassanein، K.؛ Elmasry، M. (1994). "Analysis of correlation structure for a neural predictive model with applications to speech recognition". Neural Networks. ج. 7 ع. 2: 331–339. DOI:10.1016/0893-6080(94)90027-2. مؤرشف من الأصل في 2024-06-11. اطلع عليه بتاريخ 2024-10-08.
  103. ^ Doddington، G.؛ Przybocki، M.؛ Martin، A.؛ Reynolds، D. (2000). "The NIST speaker recognition evaluation ± Overview, methodology, systems, results, perspective". Speech Communication. ج. 31 ع. 2: 225–254. DOI:10.1016/S0167-6393(99)00080-1. مؤرشف من الأصل في 2024-06-06. اطلع عليه بتاريخ 2024-10-08.
  104. ^ ا ب Heck، L.؛ Konig، Y.؛ Sonmez، M.؛ Weintraub، M. (2000). "Robustness to Telephone Handset Distortion in Speaker Recognition by Discriminative Feature Design". Speech Communication. ج. 31 ع. 2: 181–192. DOI:10.1016/s0167-6393(99)00077-1. مؤرشف من الأصل في 2024-07-21. اطلع عليه بتاريخ 2024-10-08.
  105. ^ L.P Heck and R. Teunen. "Secure and Convenient Transactions with Nuance Verifier". Nuance Users Conference, April 1998.
  106. ^ "Acoustic Modeling with Deep Neural Networks Using Raw Time Signal for LVCSR (PDF Download Available)". ResearchGate. مؤرشف من الأصل في 2021-05-09. اطلع عليه بتاريخ 2017-06-14.
  107. ^ Graves، Alex؛ Eck، Douglas؛ Beringer، Nicole؛ Schmidhuber، Jürgen (2003). "Biologically Plausible Speech Recognition with LSTM Neural Nets" (pdf). 1st Intl. Workshop on Biologically Inspired Approaches to Advanced Information Technology, Bio-ADIT 2004, Lausanne, Switzerland. ص. 175–184. مؤرشف (PDF) من الأصل في 2021-05-09. اطلع عليه بتاريخ 2016-04-09.
  108. ^ Graves، Alex؛ Fernández، Santiago؛ Gomez، Faustino؛ Schmidhuber، Jürgen (2006). "Connectionist temporal classification: Labelling unsegmented sequence data with recurrent neural networks". Proceedings of the International Conference on Machine Learning, ICML 2006: 369–376. CiteSeerX:10.1.1.75.6306.
  109. ^ "An application of recurrent neural networks to discriminative keyword spotting" (PDF). مؤرشف من الأصل (pdf) في 2018-11-18. اطلع عليه بتاريخ 2024-10-08.
  110. ^ Hinton، Geoffrey E. (1 أكتوبر 2007). "Learning multiple layers of representation". Trends in Cognitive Sciences. ج. 11 ع. 10: 428–434. DOI:10.1016/j.tics.2007.09.004. ISSN:1364-6613. PMID:17921042. S2CID:15066318. مؤرشف من الأصل في 2013-10-11. اطلع عليه بتاريخ 2017-06-12.
  111. ^ Hinton، G. E.؛ Osindero، S.؛ Teh، Y. W. (2006). "A Fast Learning Algorithm for Deep Belief Nets" (pdf). Neural Computation. ج. 18 ع. 7: 1527–1554. DOI:10.1162/neco.2006.18.7.1527. PMID:16764513. S2CID:2309950. مؤرشف (PDF) من الأصل في 2015-12-23. اطلع عليه بتاريخ 2011-07-20.
  112. ^ "Learning multiple layers of representation" (PDF). مؤرشف من الأصل (pdf) في 2018-05-22. اطلع عليه بتاريخ 2024-10-08.
  113. ^ Hinton, Geoffrey E. (Oct 2007). "Learning multiple layers of representation". Trends in Cognitive Sciences (بالإنجليزية). 11 (10): 428–434. DOI:10.1016/j.tics.2007.09.004. PMID:17921042. Archived from the original on 2024-08-14. Retrieved 2024-10-08.
  114. ^ Hinton, Geoffrey E.; Osindero, Simon; Teh, Yee-Whye (Jul 2006). "A Fast Learning Algorithm for Deep Belief Nets". Neural Computation (بالإنجليزية). 18 (7): 1527–1554. DOI:10.1162/neco.2006.18.7.1527. ISSN:0899-7667. PMID:16764513. Archived from the original on 2024-09-27. Retrieved 2024-10-08.
  115. ^ Hinton, Geoffrey E. (31 May 2009). "Deep belief networks". Scholarpedia (بالإنجليزية). 4 (5): 5947. Bibcode:2009SchpJ...4.5947H. DOI:10.4249/scholarpedia.5947. ISSN:1941-6016. Archived from the original on 2024-08-17. Retrieved 2024-10-08.
  116. ^ "Online". مؤرشف من الأصل في 2016-04-23. اطلع عليه بتاريخ 2024-10-08.
  117. ^ ا ب ج Hinton، G.؛ Deng، L.؛ Yu، D.؛ Dahl، G.؛ Mohamed، A.؛ Jaitly، N.؛ Senior، A.؛ Vanhoucke، V.؛ Nguyen، P.؛ Sainath، T.؛ Kingsbury، B. (2012). "Deep Neural Networks for Acoustic Modeling in Speech Recognition: The Shared Views of Four Research Groups". IEEE Signal Processing Magazine. ج. 29 ع. 6: 82–97. Bibcode:2012ISPM...29...82H. DOI:10.1109/msp.2012.2205597. S2CID:206485943. مؤرشف من الأصل في 2024-09-28. اطلع عليه بتاريخ 2024-10-08.
  118. ^ ا ب ج Deng، L.؛ Hinton، G.؛ Kingsbury، B. (مايو 2013). "New types of deep neural network learning for speech recognition and related applications: An overview (ICASSP)" (pdf). Microsoft Research. Microsoft. مؤرشف (PDF) من الأصل في 2017-09-26. اطلع عليه بتاريخ 2023-12-27.
  119. ^ ا ب ج Yu، D.؛ Deng، L. (2014). Automatic Speech Recognition: A Deep Learning Approach (Publisher: Springer). Springer. ISBN:978-1-4471-5779-3. مؤرشف من الأصل في 2023-05-24. اطلع عليه بتاريخ 2024-10-08.
  120. ^ "Deng receives prestigious IEEE Technical Achievement Award - Microsoft Research". Microsoft Research. 3 ديسمبر 2015. مؤرشف من الأصل في 2018-03-16. اطلع عليه بتاريخ 2018-03-16.
  121. ^ ا ب Li، Deng (سبتمبر 2014). "Keynote talk: 'Achievements and Challenges of Deep Learning - From Speech Analysis and Recognition To Language and Multimodal Processing'". Interspeech. مؤرشف من الأصل في 2017-09-26. اطلع عليه بتاريخ 2017-06-12.
  122. ^ Yu، D.؛ Deng، L. (2010). "Roles of Pre-Training and Fine-Tuning in Context-Dependent DBN-HMMs for Real-World Speech Recognition". NIPS Workshop on Deep Learning and Unsupervised Feature Learning. مؤرشف من الأصل في 2017-10-12. اطلع عليه بتاريخ 2017-06-14.
  123. ^ Seide، F.؛ Li، G.؛ Yu، D. (2011). "Conversational speech transcription using context-dependent deep neural networks". Interspeech 2011. ص. 437–440. DOI:10.21437/Interspeech.2011-169. S2CID:398770. مؤرشف من الأصل في 2017-10-12. اطلع عليه بتاريخ 2024-10-08.
  124. ^ Deng، Li؛ Li، Jinyu؛ Huang، Jui-Ting؛ Yao، Kaisheng؛ Yu، Dong؛ Seide، Frank؛ Seltzer، Mike؛ Zweig، Geoff؛ He، Xiaodong (1 مايو 2013). "Recent Advances in Deep Learning for Speech Research at Microsoft". Microsoft Research. مؤرشف من الأصل في 2017-10-12. اطلع عليه بتاريخ 2017-06-14.
  125. ^ ا ب Oh، K.-S.؛ Jung، K. (2004). "GPU implementation of neural networks". Pattern Recognition. ج. 37 ع. 6: 1311–1314. Bibcode:2004PatRe..37.1311O. DOI:10.1016/j.patcog.2004.01.013. مؤرشف من الأصل في 2024-09-30. اطلع عليه بتاريخ 2024-10-08.
  126. ^ ا ب Chellapilla، Kumar؛ Puri، Sidd؛ Simard، Patrice (2006)، "High performance convolutional neural networks for document processing"، Springer International Publishing، مؤرشف من الأصل في 2020-05-18، اطلع عليه بتاريخ 2021-02-14
  127. ^ Sze، Vivienne؛ Chen، Yu-Hsin؛ Yang، Tien-Ju؛ Emer، Joel (2017). "Efficient Processing of Deep Neural Networks: A Tutorial and Survey". arXiv:1703.09039 [cs.CV]. {{استشهاد بأرخايف}}: الوسيط |arxiv= مطلوب (مساعدة)
  128. ^ Raina، Rajat؛ Madhavan، Anand؛ Ng، Andrew Y. (14 يونيو 2009). "Large-scale deep unsupervised learning using graphics processors". Proceedings of the 26th Annual International Conference on Machine Learning. ICML '09. New York, NY, USA: Association for Computing Machinery. ص. 873–880. DOI:10.1145/1553374.1553486. ISBN:978-1-60558-516-1. مؤرشف من الأصل في 2024-07-31. اطلع عليه بتاريخ 2024-10-08.
  129. ^ Cireşan، Dan Claudiu؛ Meier، Ueli؛ Gambardella، Luca Maria؛ Schmidhuber، Jürgen (21 سبتمبر 2010). "Deep, Big, Simple Neural Nets for Handwritten Digit Recognition". Neural Computation. ج. 22 ع. 12: 3207–3220. arXiv:1003.0358. DOI:10.1162/neco_a_00052. ISSN:0899-7667. PMID:20858131. S2CID:1918673. مؤرشف من الأصل في 2024-05-21. اطلع عليه بتاريخ 2024-10-08.
  130. ^ Ciresan، D. C.؛ Meier، U.؛ Masci، J.؛ Gambardella، L.M.؛ Schmidhuber، J. (2011). "Flexible, High Performance Convolutional Neural Networks for Image Classification" (pdf). International Joint Conference on Artificial Intelligence. DOI:10.5591/978-1-57735-516-8/ijcai11-210. مؤرشف (PDF) من الأصل في 2014-09-29. اطلع عليه بتاريخ 2017-06-13.
  131. ^ ا ب Ciresan، Dan؛ Giusti، Alessandro؛ Gambardella، Luca M.؛ Schmidhuber، Jürgen (2012). Pereira، F.؛ Burges، C. J. C.؛ Bottou، L.؛ Weinberger، K. Q. (المحررون). Advances in Neural Information Processing Systems 25 (pdf). Curran Associates, Inc. ص. 2843–2851. مؤرشف (PDF) من الأصل في 2017-08-09. اطلع عليه بتاريخ 2017-06-13.
  132. ^ ا ب Ciresan، D.؛ Giusti، A.؛ Gambardella، L.M.؛ Schmidhuber، J. (2013). "Mitosis Detection in Breast Cancer Histology Images with Deep Neural Networks". Medical Image Computing and Computer-Assisted Intervention – MICCAI 2013. Lecture Notes in Computer Science. ج. 7908. ص. 411–418. DOI:10.1007/978-3-642-40763-5_51. ISBN:978-3-642-38708-1. PMID:24579167. مؤرشف من الأصل في 2024-04-21. اطلع عليه بتاريخ 2024-10-08.
  133. ^ Ng، Andrew؛ Dean، Jeff (2012). "Building High-level Features Using Large Scale Unsupervised Learning". arXiv:1112.6209 [cs.LG]. {{استشهاد بأرخايف}}: الوسيط |arxiv= مطلوب (مساعدة)
  134. ^ Krizhevsky، Alex؛ Sutskever، Ilya؛ Hinton، Geoffrey (2012). "ImageNet Classification with Deep Convolutional Neural Networks" (pdf). NIPS 2012: Neural Information Processing Systems, Lake Tahoe, Nevada. مؤرشف (PDF) من الأصل في 2017-01-10. اطلع عليه بتاريخ 2017-05-24.
  135. ^ Simonyan، Karen؛ Andrew، Zisserman (2014). "Very Deep Convolution Networks for Large Scale Image Recognition". arXiv:1409.1556 [cs.CV]. {{استشهاد بأرخايف}}: الوسيط |arxiv= مطلوب (مساعدة)
  136. ^ Szegedy، Christian (2015). "Going deeper with convolutions" (PDF). Cvpr2015. arXiv:1409.4842. مؤرشف من الأصل (pdf) في 2024-09-30. اطلع عليه بتاريخ 2024-10-08.
  137. ^ Vinyals، Oriol؛ Toshev، Alexander؛ Bengio، Samy؛ Erhan، Dumitru (2014). "Show and Tell: A Neural Image Caption Generator". arXiv:1411.4555 [cs.CV]. {{استشهاد بأرخايف}}: الوسيط |arxiv= مطلوب (مساعدة).
  138. ^ Fang، Hao؛ Gupta، Saurabh؛ Iandola، Forrest؛ Srivastava، Rupesh؛ Deng، Li؛ Dollár، Piotr؛ Gao، Jianfeng؛ He، Xiaodong؛ Mitchell، Margaret؛ Platt، John C؛ Lawrence Zitnick، C؛ Zweig، Geoffrey (2014). "From Captions to Visual Concepts and Back". arXiv:1411.4952 [cs.CV]. {{استشهاد بأرخايف}}: الوسيط |arxiv= مطلوب (مساعدة).
  139. ^ Kiros، Ryan؛ Salakhutdinov، Ruslan؛ Zemel، Richard S (2014). "Unifying Visual-Semantic Embeddings with Multimodal Neural Language Models". arXiv:1411.2539 [cs.LG]. {{استشهاد بأرخايف}}: الوسيط |arxiv= مطلوب (مساعدة).
  140. ^ Simonyan، Karen؛ Zisserman، Andrew (10 أبريل 2015)، Very Deep Convolutional Networks for Large-Scale Image Recognition، arXiv:1409.1556
  141. ^ He، Kaiming؛ Zhang، Xiangyu؛ Ren، Shaoqing؛ Sun، Jian (2016). "Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification". arXiv:1502.01852 [cs.CV]. {{استشهاد بأرخايف}}: الوسيط |arxiv= مطلوب (مساعدة)
  142. ^ He، Kaiming؛ Zhang، Xiangyu؛ Ren، Shaoqing؛ Sun، Jian (10 ديسمبر 2015). Deep Residual Learning for Image Recognition. arXiv:1512.03385.
  143. ^ He، Kaiming؛ Zhang، Xiangyu؛ Ren، Shaoqing؛ Sun، Jian (2016). Deep Residual Learning for Image Recognition. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas, NV, USA: IEEE. ص. 770–778. arXiv:1512.03385. DOI:10.1109/CVPR.2016.90. ISBN:978-1-4673-8851-1. مؤرشف من الأصل في 2024-10-07. اطلع عليه بتاريخ 2024-10-08.
  144. ^ Gatys، Leon A.؛ Ecker، Alexander S.؛ Bethge، Matthias (26 أغسطس 2015). "A Neural Algorithm of Artistic Style". arXiv:1508.06576 [cs.CV]. {{استشهاد بأرخايف}}: الوسيط |arxiv= مطلوب (مساعدة)
  145. ^ Goodfellow، Ian؛ Pouget-Abadie، Jean؛ Mirza، Mehdi؛ Xu، Bing؛ Warde-Farley، David؛ Ozair، Sherjil؛ Courville، Aaron؛ Bengio، Yoshua (2014). "Generative Adversarial Networks" (pdf). Proceedings of the International Conference on Neural Information Processing Systems (NIPS 2014). Advances in Neural Information Processing Systems. ص. 2672–2680. مؤرشف (PDF) من الأصل في 2019-11-22. اطلع عليه بتاريخ 2019-08-20.
  146. ^ "GAN 2.0: NVIDIA's Hyperrealistic Face Generator". SyncedReview.com. 14 ديسمبر 2018. مؤرشف من الأصل في 2024-09-12. اطلع عليه بتاريخ 2019-10-03.
  147. ^ Karras، T.؛ Aila، T.؛ Laine، S.؛ Lehtinen، J. (26 فبراير 2018). "Progressive Growing of GANs for Improved Quality, Stability, and Variation". arXiv:1710.10196 [cs.NE]. {{استشهاد بأرخايف}}: الوسيط |arxiv= مطلوب (مساعدة)
  148. ^ "Prepare, Don't Panic: Synthetic Media and Deepfakes". witness.org. مؤرشف من الأصل في 2020-12-02. اطلع عليه بتاريخ 2020-11-25.
  149. ^ Sohl-Dickstein, Jascha; Weiss, Eric; Maheswaranathan, Niru; Ganguli, Surya (01 Jun 2015). "Deep Unsupervised Learning using Nonequilibrium Thermodynamics" (PDF). Proceedings of the 32nd International Conference on Machine Learning (بالإنجليزية). PMLR. 37: 2256–2265. arXiv:1503.03585. Archived from the original (pdf) on 2024-09-21. Retrieved 2024-10-08.
  150. ^ Google Research Blog. The neural networks behind Google Voice transcription. August 11, 2015. By Françoise Beaufays http://googleresearch.blogspot.co.at/2015/08/the-neural-networks-behind-google-voice.html
  151. ^ ا ب Sak، Haşim؛ Senior، Andrew؛ Rao، Kanishka؛ Beaufays، Françoise؛ Schalkwyk، Johan (سبتمبر 2015). "Google voice search: faster and more accurate". مؤرشف من الأصل في 2016-03-09. اطلع عليه بتاريخ 2016-04-09.
  152. ^ Singh، Premjeet؛ Saha، Goutam؛ Sahidullah، Md (2021). "Non-linear frequency warping using constant-Q transformation for speech emotion recognition". 2021 International Conference on Computer Communication and Informatics (ICCCI). ص. 1–4. arXiv:2102.04029. DOI:10.1109/ICCCI50826.2021.9402569. ISBN:978-1-7281-5875-4. S2CID:231846518. مؤرشف من الأصل في 2024-06-03. اطلع عليه بتاريخ 2024-10-08.
  153. ^ Sak، Hasim؛ Senior، Andrew؛ Beaufays، Francoise (2014). "Long Short-Term Memory recurrent neural network architectures for large scale acoustic modeling" (PDF). Cvpr2015. مؤرشف من الأصل (pdf) في 2018-04-24. اطلع عليه بتاريخ 2024-10-08.
  154. ^ Li، Xiangang؛ Wu، Xihong (2014). "Constructing Long Short-Term Memory based Deep Recurrent Neural Networks for Large Vocabulary Speech Recognition". arXiv:1410.4281 [cs.CL]. {{استشهاد بأرخايف}}: الوسيط |arxiv= مطلوب (مساعدة)
  155. ^ Zen، Heiga؛ Sak، Hasim (2015). "Unidirectional Long Short-Term Memory Recurrent Neural Network with Recurrent Output Layer for Low-Latency Speech Synthesis" (pdf). Google.com. ICASSP. ص. 4470–4474. مؤرشف (PDF) من الأصل في 2021-05-09. اطلع عليه بتاريخ 2017-06-13.
  156. ^ "2018 ACM A.M. Turing Award Laureates". awards.acm.org (بالإنجليزية). Archived from the original on 2024-10-06. Retrieved 2024-08-07.
  157. ^ Bhadeshia H. K. D. H. (1999). "Neural Networks in Materials Science" (pdf). ISIJ International. ج. 39 ع. 10: 966–979. DOI:10.2355/isijinternational.39.966. اطلع عليه بتاريخ 2024-10-13.
  158. ^ Cybenko، G.V. (2006). "Approximation by Superpositions of a Sigmoidal function" (PDF). في van Schuppen، Jan H. (المحرر). Mathematics of Control, Signals, and Systems (pdf). Springer International. ص. 303–314. مؤرشف من الأصل في 2011-07-19. اطلع عليه بتاريخ 2024-10-13.
  159. ^ Fahlman، S.؛ Lebiere، C (1991). "The Cascade-Correlation Learning Architecture" (PDF). مؤرشف من الأصل (pdf) في 2013-05-03. اطلع عليه بتاريخ 2006-08-28.
  160. ^ Maurer، Harald (2021). Cognitive science: integrative synchronization mechanisms in cognitive neuroarchitectures of the modern connectionism. CRC Press. DOI:10.1201/9781351043526. ISBN:978-1-351-04352-6. S2CID:242963768. اطلع عليه بتاريخ 2024-10-13.
  161. ^ Lawrence، Jeanette (1994). Introduction to neural networks: design, theory and applications. California Scientific Software. ISBN:978-1-883157-00-5. OCLC:32179420. اطلع عليه بتاريخ 2024-10-13.
  162. ^ Siegelmann، H.T.؛ Sontag، Eduardo D. (1994). "Analog computation via neural networks". Theoretical Computer Science. ج. 131 ع. 2: 331–360. DOI:10.1016/0304-3975(94)90178-3. S2CID:2456483. اطلع عليه بتاريخ 2024-10-13.
  163. ^ Silver، David؛ Huang، Aja؛ Maddison، Chris J.؛ Guez، Arthur؛ Sifre، Laurent؛ Driessche، George van den؛ Schrittwieser، Julian؛ Antonoglou، Ioannis؛ Panneershelvam، Veda (يناير 2016). "Mastering the game of Go with deep neural networks and tree search". Nature. ج. 529 ع. 7587: 484–489. Bibcode:2016Natur.529..484S. DOI:10.1038/nature16961. ISSN:1476-4687. PMID:26819042. S2CID:515925. مؤرشف من الأصل في 2024-10-01. اطلع عليه بتاريخ 2024-10-08.
  164. ^ A Guide to Deep Learning and Neural Networks، مؤرشف من الأصل في 2020-11-02، اطلع عليه بتاريخ 2020-11-16
  165. ^ Szegedy، Christian؛ Toshev، Alexander؛ Erhan، Dumitru (2013). "Deep neural networks for object detection". Advances in Neural Information Processing Systems: 2553–2561. مؤرشف من الأصل في 2017-06-29. اطلع عليه بتاريخ 2017-06-13.
  166. ^ Rolnick، David؛ Tegmark، Max (2018). "The power of deeper networks for expressing natural functions". International Conference on Learning Representations. ICLR. مؤرشف من الأصل في 2021-01-07. اطلع عليه بتاريخ 2021-01-05. {{استشهاد بمنشورات مؤتمر}}: الوسيط |عنوان المؤتمر= و|عنوان الكتاب= تكرر أكثر من مرة (مساعدة)
  167. ^ Hof، Robert D. "Is Artificial Intelligence Finally Coming into Its Own?". MIT Technology Review. مؤرشف من الأصل في 2019-03-31. اطلع عليه بتاريخ 2018-07-10.
  168. ^ ا ب Gers، Felix A.؛ Schmidhuber، Jürgen (2001). "LSTM Recurrent Networks Learn Simple Context Free and Context Sensitive Languages". IEEE Transactions on Neural Networks. ج. 12 ع. 6: 1333–1340. DOI:10.1109/72.963769. PMID:18249962. S2CID:10192330. مؤرشف من الأصل في 2020-01-26. اطلع عليه بتاريخ 2020-02-25.
  169. ^ ا ب ج Sutskever، L.؛ Vinyals، O.؛ Le، Q. (2014). "Sequence to Sequence Learning with Neural Networks" (pdf). Proc. NIPS. arXiv:1409.3215. Bibcode:2014arXiv1409.3215S. مؤرشف (PDF) من الأصل في 2021-05-09. اطلع عليه بتاريخ 2017-06-13.
  170. ^ ا ب Jozefowicz، Rafal؛ Vinyals، Oriol؛ Schuster، Mike؛ Shazeer، Noam؛ Wu، Yonghui (2016). "Exploring the Limits of Language Modeling". arXiv:1602.02410 [cs.CL]. {{استشهاد بأرخايف}}: الوسيط |arxiv= مطلوب (مساعدة)
  171. ^ ا ب Gillick، Dan؛ Brunk، Cliff؛ Vinyals، Oriol؛ Subramanya، Amarnag (2015). "Multilingual Language Processing from Bytes". arXiv:1512.00103 [cs.CL]. {{استشهاد بأرخايف}}: الوسيط |arxiv= مطلوب (مساعدة)
  172. ^ Mikolov، T.؛ وآخرون (2010). "Recurrent neural network based language model" (pdf). Interspeech: 1045–1048. DOI:10.21437/Interspeech.2010-343. S2CID:17048224. مؤرشف (PDF) من الأصل في 2017-05-16. اطلع عليه بتاريخ 2017-06-13.
  173. ^ Hochreiter، Sepp؛ Schmidhuber، Jürgen (1 نوفمبر 1997). "Long Short-Term Memory". Neural Computation. ج. 9 ع. 8: 1735–1780. DOI:10.1162/neco.1997.9.8.1735. ISSN:0899-7667. PMID:9377276. S2CID:1915014. مؤرشف من الأصل في 2024-09-27. اطلع عليه بتاريخ 2024-10-08.
  174. ^ ا ب "Learning Precise Timing with LSTM Recurrent Networks (PDF Download Available)". ResearchGate. مؤرشف من الأصل في 2021-05-09. اطلع عليه بتاريخ 2017-06-13.
  175. ^ LeCun، Y.؛ وآخرون (1998). "Gradient-based learning applied to document recognition". Proceedings of the IEEE. ج. 86 ع. 11: 2278–2324. DOI:10.1109/5.726791. S2CID:14542261. مؤرشف من الأصل في 2024-06-03. اطلع عليه بتاريخ 2024-10-08.
  176. ^ Sainath، Tara N.؛ Mohamed، Abdel-Rahman؛ Kingsbury، Brian؛ Ramabhadran، Bhuvana (2013). "Deep convolutional neural networks for LVCSR". 2013 IEEE International Conference on Acoustics, Speech and Signal Processing. ص. 8614–8618. DOI:10.1109/icassp.2013.6639347. ISBN:978-1-4799-0356-6. S2CID:13816461. مؤرشف من الأصل في 2024-07-10. اطلع عليه بتاريخ 2024-10-08.
  177. ^ Bengio، Yoshua؛ Boulanger-Lewandowski، Nicolas؛ Pascanu، Razvan (2013). "Advances in optimizing recurrent networks". 2013 IEEE International Conference on Acoustics, Speech and Signal Processing. ص. 8624–8628. arXiv:1212.0901. CiteSeerX:10.1.1.752.9151. DOI:10.1109/icassp.2013.6639349. ISBN:978-1-4799-0356-6. S2CID:12485056. مؤرشف من الأصل في 2024-04-03. اطلع عليه بتاريخ 2024-10-08.
  178. ^ Dahl، G.؛ وآخرون (2013). "Improving DNNs for LVCSR using rectified linear units and dropout" (pdf). ICASSP. مؤرشف (PDF) من الأصل في 2017-08-12. اطلع عليه بتاريخ 2017-06-13.
  179. ^ "Data Augmentation - deeplearning.ai | Coursera". Coursera. مؤرشف من الأصل في 2017-12-01. اطلع عليه بتاريخ 2017-11-30.
  180. ^ Hinton، G. E. (2010). "A Practical Guide to Training Restricted Boltzmann Machines". Tech. Rep. UTML TR 2010-003. مؤرشف من الأصل في 2021-05-09. اطلع عليه بتاريخ 2017-06-13.
  181. ^ You، Yang؛ Buluç، Aydın؛ Demmel، James (نوفمبر 2017). "Scaling deep learning on GPU and knights landing clusters". Proceedings of the International Conference for High Performance Computing, Networking, Storage and Analysis on - SC '17. SC '17, ACM. ص. 1–12. DOI:10.1145/3126908.3126912. ISBN:9781450351140. S2CID:8869270. مؤرشف من الأصل في 2020-07-29. اطلع عليه بتاريخ 2018-03-05.
  182. ^ Viebke، André؛ Memeti، Suejb؛ Pllana، Sabri؛ Abraham، Ajith (2019). "CHAOS: a parallelization scheme for training convolutional neural networks on Intel Xeon Phi". The Journal of Supercomputing. ج. 75: 197–227. arXiv:1702.07908. Bibcode:2017arXiv170207908V. DOI:10.1007/s11227-017-1994-x. S2CID:14135321. مؤرشف من الأصل في 2024-04-15. اطلع عليه بتاريخ 2024-10-08.
  183. ^ Ting Qin, et al. "A learning algorithm of CMAC based on RLS". Neural Processing Letters 19.1 (2004): 49-61.
  184. ^ "Continuous CMAC-QRLS and its systolic array" (PDF). مؤرشف من الأصل (pdf) في 2018-11-18. اطلع عليه بتاريخ 2024-10-08.
  185. ^ Research، AI (23 أكتوبر 2015). "Deep Neural Networks for Acoustic Modeling in Speech Recognition". airesearch.com. مؤرشف من الأصل في 2016-02-01. اطلع عليه بتاريخ 2015-10-23.
  186. ^ "GPUs Continue to Dominate the AI Accelerator Market for Now". InformationWeek (بالإنجليزية). Dec 2019. Archived from the original on 2020-06-10. Retrieved 2020-06-11.
  187. ^ Ray, Tiernan (2019). "AI is changing the entire nature of computation". ZDNet (بالإنجليزية). Archived from the original on 2020-05-25. Retrieved 2020-06-11.
  188. ^ "AI and Compute". OpenAI (بالإنجليزية). 16 May 2018. Archived from the original on 2020-06-17. Retrieved 2020-06-11.
  189. ^ "HUAWEI Reveals the Future of Mobile AI at IFA 2017 | HUAWEI Latest News | HUAWEI Global". consumer.huawei.com. مؤرشف من الأصل في 2024-09-20. اطلع عليه بتاريخ 2024-10-08.
  190. ^ P, JouppiNorman; YoungCliff; PatilNishant; PattersonDavid; AgrawalGaurav; BajwaRaminder; BatesSarah; BhatiaSuresh; BodenNan; BorchersAl; BoyleRick (24 Jun 2017). "In-Datacenter Performance Analysis of a Tensor Processing Unit". ACM SIGARCH Computer Architecture News (بالإنجليزية). 45 (2): 1–12. arXiv:1704.04760. DOI:10.1145/3140659.3080246. Archived from the original on 2024-10-01. Retrieved 2024-10-08.
  191. ^ Woodie، Alex (01 نوفمبر 2021). "Cerebras Hits the Accelerator for Deep Learning Workloads". Datanami. مؤرشف من الأصل في 2023-02-10. اطلع عليه بتاريخ 2022-08-03.
  192. ^ "Cerebras launches new AI supercomputing processor with 2.6 trillion transistors". VentureBeat (بالإنجليزية). 20 Apr 2021. Archived from the original on 2024-09-17. Retrieved 2022-08-03.
  193. ^ Marega، Guilherme Migliato؛ Zhao، Yanfei؛ Avsar، Ahmet؛ Wang، Zhenyu؛ Tripati، Mukesh؛ Radenovic، Aleksandra؛ Kis، Anras (2020). "Logic-in-memory based on an atomically thin semiconductor". Nature. ج. 587 ع. 2: 72–77. Bibcode:2020Natur.587...72M. DOI:10.1038/s41586-020-2861-0. PMC:7116757. PMID:33149289. مؤرشف من الأصل في 2024-09-20. اطلع عليه بتاريخ 2024-10-08.
  194. ^ ا ب ج Feldmann، J.؛ Youngblood، N.؛ Karpov، M.؛ وآخرون (2021). "Parallel convolutional processing using an integrated photonic tensor". Nature. ج. 589 ع. 2: 52–58. arXiv:2002.00281. DOI:10.1038/s41586-020-03070-1. PMID:33408373. S2CID:211010976. مؤرشف من الأصل في 2024-10-02. اطلع عليه بتاريخ 2024-10-08.
  195. ^ Graves، Alex؛ Eck، Douglas؛ Beringer، Nicole؛ Schmidhuber، Jürgen (2003). "Biologically Plausible Speech Recognition with LSTM Neural Nets" (pdf). 1st Intl. Workshop on Biologically Inspired Approaches to Advanced Information Technology, Bio-ADIT 2004, Lausanne, Switzerland. ص. 175–184. مؤرشف (PDF) من الأصل في 2021-05-09. اطلع عليه بتاريخ 2016-04-09.
  196. ^ Garofolo, J.S.؛ Lamel, L.F.؛ Fisher, W.M.؛ Fiscus, J.G.؛ Pallett, D.S.؛ Dahlgren, N.L.؛ Zue, V. (1993). TIMIT Acoustic-Phonetic Continuous Speech Corpus. Linguistic Data Consortium. DOI:10.35111/17gk-bn40. ISBN:1-58563-019-5. مؤرشف من الأصل في 2024-09-17. اطلع عليه بتاريخ 2023-12-27.
  197. ^ "TIMIT Acoustic-Phonetic Continuous Speech Corpus - Linguistic Data Consortium". catalog.ldc.upenn.edu (بالإنجليزية). Archived from the original on 2024-09-17. Retrieved 2024-11-08.
  198. ^ Robinson، Tony (30 سبتمبر 1991). "Several Improvements to a Recurrent Error Propagation Network Phone Recognition System". Cambridge University Engineering Department Technical Report. CUED/F-INFENG/TR82. DOI:10.13140/RG.2.2.15418.90567. مؤرشف من الأصل في 2024-09-18. اطلع عليه بتاريخ 2024-10-08.
  199. ^ Abdel-Hamid، O.؛ وآخرون (2014). "Convolutional Neural Networks for Speech Recognition". IEEE/ACM Transactions on Audio, Speech, and Language Processing. ج. 22 ع. 10: 1533–1545. DOI:10.1109/taslp.2014.2339736. S2CID:206602362. مؤرشف من الأصل في 2020-09-22. اطلع عليه بتاريخ 2018-04-20.
  200. ^ Deng، L.؛ Platt، J. (2014). "Ensemble Deep Learning for Speech Recognition". Proc. Interspeech: 1915–1919. DOI:10.21437/Interspeech.2014-433. S2CID:15641618. مؤرشف من الأصل في 2024-07-09. اطلع عليه بتاريخ 2024-10-08.
  201. ^ Tóth، Laszló (2015). "Phone Recognition with Hierarchical Convolutional Deep Maxout Networks" (pdf). EURASIP Journal on Audio, Speech, and Music Processing. ج. 2015. DOI:10.1186/s13636-015-0068-3. S2CID:217950236. مؤرشف (PDF) من الأصل في 2020-09-24. اطلع عليه بتاريخ 2019-04-01.
  202. ^ Deng، L.؛ Yu، D. (2014). "Deep Learning: Methods and Applications" (pdf). Foundations and Trends in Signal Processing. ج. 7 ع. 3–4: 1–199. DOI:10.1561/2000000039. مؤرشف (PDF) من الأصل في 2016-03-14. اطلع عليه بتاريخ 2014-10-18.
  203. ^ McMillan، Robert (17 ديسمبر 2014). "How Skype Used AI to Build Its Amazing New Language Translator | WIRED". Wired. مؤرشف من الأصل في 2017-06-08. اطلع عليه بتاريخ 2017-06-14.
  204. ^ Hannun، Awni؛ Case، Carl؛ Casper، Jared؛ Catanzaro، Bryan؛ Diamos، Greg؛ Elsen، Erich؛ Prenger، Ryan؛ Satheesh، Sanjeev؛ Sengupta، Shubho؛ Coates، Adam؛ Ng، Andrew Y (2014). "Deep Speech: Scaling up end-to-end speech recognition". arXiv:1412.5567 [cs.CL]. {{استشهاد بأرخايف}}: الوسيط |arxiv= مطلوب (مساعدة)
  205. ^ "MNIST handwritten digit database, Yann LeCun, Corinna Cortes and Chris Burges". yann.lecun.com. مؤرشف من الأصل في 2014-01-13. اطلع عليه بتاريخ 2014-01-28.
  206. ^ Cireşan، Dan؛ Meier، Ueli؛ Masci، Jonathan؛ Schmidhuber، Jürgen (أغسطس 2012). "Multi-column deep neural network for traffic sign classification". Neural Networks. Selected Papers from IJCNN 2011. ج. 32: 333–338. CiteSeerX:10.1.1.226.8219. DOI:10.1016/j.neunet.2012.02.023. PMID:22386783. مؤرشف من الأصل في 2024-07-26. اطلع عليه بتاريخ 2024-10-08.
  207. ^ Chaochao Lu؛ Xiaoou Tang (2014). "Surpassing Human Level Face Recognition". arXiv:1404.3840 [cs.CV]. {{استشهاد بأرخايف}}: الوسيط |arxiv= مطلوب (مساعدة)
  208. ^ ا ب "Nvidia Demos a Car Computer Trained with "Deep Learning"". MIT Technology Review. مؤرشف من الأصل في 2024-09-09. اطلع عليه بتاريخ 2024-10-08.
  209. ^ ا ب ج G. W. Smith؛ Frederic Fol Leymarie (10 أبريل 2017). "The Machine as Artist: An Introduction". Arts. ج. 6 ع. 4: 5. DOI:10.3390/arts6020005. مؤرشف من الأصل في 2024-04-03. اطلع عليه بتاريخ 2024-10-08.
  210. ^ ا ب ج Blaise Agüera y Arcas (29 سبتمبر 2017). "Art in the Age of Machine Intelligence". Arts. ج. 6 ع. 4: 18. DOI:10.3390/arts6040018. مؤرشف من الأصل في 2024-04-16. اطلع عليه بتاريخ 2024-10-08.
  211. ^ Goldberg، Yoav؛ Levy، Omar (2014). "word2vec Explained: Deriving Mikolov et al.'s Negative-Sampling Word-Embedding Method". arXiv:1402.3722 [cs.CL]. {{استشهاد بأرخايف}}: الوسيط |arxiv= مطلوب (مساعدة)
  212. ^ ا ب Socher، Richard؛ Manning، Christopher. "Deep Learning for NLP" (pdf). Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing. مؤرشف (PDF) من الأصل في 2014-07-06. اطلع عليه بتاريخ 2014-10-26.
  213. ^ Socher، Richard؛ Bauer، John؛ Manning، Christopher؛ Ng، Andrew (2013). "Parsing With Compositional Vector Grammars" (pdf). Proceedings of the ACL 2013 Conference. مؤرشف (PDF) من الأصل في 2014-11-27. اطلع عليه بتاريخ 2014-09-03.
  214. ^ Socher, R.؛ Perelygin, A.؛ Wu, J.؛ Chuang, J.؛ Manning, C.D.؛ Ng, A.؛ Potts, C. (أكتوبر 2013). "Recursive Deep Models for Semantic Compositionality Over a Sentiment Treebank" (pdf). Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing. Association for Computational Linguistics. مؤرشف (PDF) من الأصل في 2016-12-28. اطلع عليه بتاريخ 2023-12-21.
  215. ^ Shen، Yelong؛ He، Xiaodong؛ Gao، Jianfeng؛ Deng، Li؛ Mesnil، Gregoire (1 نوفمبر 2014). "A Latent Semantic Model with Convolutional-Pooling Structure for Information Retrieval". Microsoft Research. مؤرشف من الأصل في 2017-10-27. اطلع عليه بتاريخ 2017-06-14.
  216. ^ Huang، Po-Sen؛ He، Xiaodong؛ Gao، Jianfeng؛ Deng، Li؛ Acero، Alex؛ Heck، Larry (1 أكتوبر 2013). "Learning Deep Structured Semantic Models for Web Search using Clickthrough Data". Microsoft Research. مؤرشف من الأصل في 2017-10-27. اطلع عليه بتاريخ 2017-06-14.
  217. ^ Mesnil، G.؛ Dauphin، Y.؛ Yao، K.؛ Bengio، Y.؛ Deng، L.؛ Hakkani-Tur، D.؛ He، X.؛ Heck، L.؛ Tur، G.؛ Yu، D.؛ Zweig، G. (2015). "Using recurrent neural networks for slot filling in spoken language understanding". IEEE Transactions on Audio, Speech, and Language Processing. ج. 23 ع. 3: 530–539. DOI:10.1109/taslp.2014.2383614. S2CID:1317136. مؤرشف من الأصل في 2024-07-12. اطلع عليه بتاريخ 2024-10-08.
  218. ^ ا ب Gao، Jianfeng؛ He، Xiaodong؛ Yih، Scott Wen-tau؛ Deng، Li (1 يونيو 2014). "Learning Continuous Phrase Representations for Translation Modeling". Microsoft Research. مؤرشف من الأصل في 2017-10-27. اطلع عليه بتاريخ 2017-06-14.
  219. ^ Brocardo، Marcelo Luiz؛ Traore، Issa؛ Woungang، Isaac؛ Obaidat، Mohammad S. (2017). "Authorship verification using deep belief network systems". International Journal of Communication Systems. ج. 30 ع. 12: e3259. DOI:10.1002/dac.3259. S2CID:40745740. مؤرشف من الأصل في 2024-09-22. اطلع عليه بتاريخ 2024-10-08.
  220. ^ Kariampuzha, William; Alyea, Gioconda; Qu, Sue; Sanjak, Jaleal; Mathé, Ewy; Sid, Eric; Chatelaine, Haley; Yadaw, Arjun; Xu, Yanji; Zhu, Qian (2023). "Precision information extraction for rare disease epidemiology at scale". Journal of Translational Medicine (بالإنجليزية). 21 (1): 157. DOI:10.1186/s12967-023-04011-y. PMC:9972634. PMID:36855134. Archived from the original on 2024-09-14. Retrieved 2024-10-08.
  221. ^ "Deep Learning for Natural Language Processing: Theory and Practice (CIKM2014 Tutorial) - Microsoft Research". Microsoft Research. مؤرشف من الأصل في 2017-03-13. اطلع عليه بتاريخ 2017-06-14.
  222. ^ Turovsky، Barak (15 نوفمبر 2016). "Found in translation: More accurate, fluent sentences in Google Translate". The Keyword Google Blog. مؤرشف من الأصل في 2017-04-07. اطلع عليه بتاريخ 2017-03-23.
  223. ^ ا ب ج د Schuster، Mike؛ Johnson، Melvin؛ Thorat، Nikhil (22 نوفمبر 2016). "Zero-Shot Translation with Google's Multilingual Neural Machine Translation System". Google Research Blog. مؤرشف من الأصل في 2017-07-10. اطلع عليه بتاريخ 2017-03-23.
  224. ^ Wu، Yonghui؛ Schuster، Mike؛ Chen، Zhifeng؛ Le، Quoc V؛ Norouzi، Mohammad؛ Macherey، Wolfgang؛ Krikun، Maxim؛ Cao، Yuan؛ Gao، Qin؛ Macherey، Klaus؛ Klingner، Jeff؛ Shah، Apurva؛ Johnson، Melvin؛ Liu، Xiaobing؛ Kaiser، Łukasz؛ Gouws، Stephan؛ Kato، Yoshikiyo؛ Kudo، Taku؛ Kazawa، Hideto؛ Stevens، Keith؛ Kurian، George؛ Patil، Nishant؛ Wang، Wei؛ Young، Cliff؛ Smith، Jason؛ Riesa، Jason؛ Rudnick، Alex؛ Vinyals، Oriol؛ Corrado، Greg؛ وآخرون (2016). "Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation". arXiv:1609.08144 [cs.CL]. {{استشهاد بأرخايف}}: الوسيط |arxiv= مطلوب (مساعدة)
  225. ^ Metz، Cade (27 سبتمبر 2016). "An Infusion of AI Makes Google Translate More Powerful Than Ever". Wired. مؤرشف من الأصل في 2020-11-08. اطلع عليه بتاريخ 2017-10-12.
  226. ^ ا ب Boitet، Christian؛ Blanchon، Hervé؛ Seligman، Mark؛ Bellynck، Valérie (2010). "MT on and for the Web" (PDF). مؤرشف من الأصل (pdf) في 2017-03-29. اطلع عليه بتاريخ 2016-12-01.
  227. ^ Arrowsmith، J؛ Miller، P (2013). "Trial watch: Phase II and phase III attrition rates 2011-2012". Nature Reviews Drug Discovery. ج. 12 ع. 8: 569. DOI:10.1038/nrd4090. PMID:23903212. S2CID:20246434. مؤرشف من الأصل في 2024-06-24. اطلع عليه بتاريخ 2024-10-08.
  228. ^ Verbist، B؛ Klambauer، G؛ Vervoort، L؛ Talloen، W؛ The Qstar، Consortium؛ Shkedy، Z؛ Thas، O؛ Bender، A؛ Göhlmann، H. W.؛ Hochreiter، S (2015). "Using transcriptomics to guide lead optimization in drug discovery projects: Lessons learned from the QSTAR project". Drug Discovery Today. ج. 20 ع. 5: 505–513. DOI:10.1016/j.drudis.2014.12.014. hdl:1942/18723. PMID:25582842. مؤرشف من الأصل في 2024-04-03. اطلع عليه بتاريخ 2024-10-08.
  229. ^ "Merck Molecular Activity Challenge". kaggle.com. مؤرشف من الأصل في 2020-07-16. اطلع عليه بتاريخ 2020-07-16.
  230. ^ "Multi-task Neural Networks for QSAR Predictions | Data Science Association". www.datascienceassn.org. مؤرشف من الأصل في 2017-04-30. اطلع عليه بتاريخ 2017-06-14.
  231. ^ "Toxicology in the 21st century Data Challenge"
  232. ^ "NCATS Announces Tox21 Data Challenge Winners". مؤرشف من الأصل في 2015-09-08. اطلع عليه بتاريخ 2015-03-05.
  233. ^ "NCATS Announces Tox21 Data Challenge Winners". مؤرشف من الأصل في 2015-02-28. اطلع عليه بتاريخ 2015-03-05.
  234. ^ Wallach، Izhar؛ Dzamba، Michael؛ Heifets، Abraham (9 أكتوبر 2015). "AtomNet: A Deep Convolutional Neural Network for Bioactivity Prediction in Structure-based Drug Discovery". arXiv:1510.02855 [cs.LG]. {{استشهاد بأرخايف}}: الوسيط |arxiv= مطلوب (مساعدة)
  235. ^ ا ب "Toronto startup has a faster way to discover effective medicines". صحيفة جلوب آند ميل  [لغات أخرى]‏. مؤرشف من الأصل في 2015-10-20. اطلع عليه بتاريخ 2015-11-09.{{استشهاد بخبر}}: صيانة الاستشهاد: علامات ترقيم زائدة (link)
  236. ^ "Startup Harnesses Supercomputers to Seek Cures". KQED Future of You. 27 مايو 2015. مؤرشف من الأصل في 2015-12-24. اطلع عليه بتاريخ 2015-11-09.
  237. ^ Gilmer، Justin؛ Schoenholz، Samuel S.؛ Riley، Patrick F.؛ Vinyals، Oriol؛ Dahl، George E. (12 يونيو 2017). "Neural Message Passing for Quantum Chemistry". arXiv:1704.01212 [cs.LG]. {{استشهاد بأرخايف}}: الوسيط |arxiv= مطلوب (مساعدة)
  238. ^ Zhavoronkov، Alex (2019). "Deep learning enables rapid identification of potent DDR1 kinase inhibitors". Nature Biotechnology. ج. 37 ع. 9: 1038–1040. DOI:10.1038/s41587-019-0224-x. PMID:31477924. S2CID:201716327. مؤرشف من الأصل في 2024-07-11. اطلع عليه بتاريخ 2024-10-08.
  239. ^ Gregory، Barber. "A Molecule Designed By AI Exhibits 'Druglike' Qualities". Wired. مؤرشف من الأصل في 2020-04-30. اطلع عليه بتاريخ 2019-09-05.
  240. ^ Tkachenko، Yegor (8 أبريل 2015). "Autonomous CRM Control via CLV Approximation with Deep Reinforcement Learning in Discrete and Continuous Action Space". arXiv:1504.01840 [cs.LG]. {{استشهاد بأرخايف}}: الوسيط |arxiv= مطلوب (مساعدة)
  241. ^ van den Oord، Aaron؛ Dieleman، Sander؛ Schrauwen، Benjamin (2013). Burges، C. J. C.؛ Bottou، L.؛ Welling، M.؛ Ghahramani، Z.؛ Weinberger، K. Q. (المحررون). Advances in Neural Information Processing Systems 26 (pdf). Curran Associates, Inc. ص. 2643–2651. مؤرشف (PDF) من الأصل في 2017-05-16. اطلع عليه بتاريخ 2017-06-14.
  242. ^ Feng، X.Y.؛ Zhang، H.؛ Ren، Y.J.؛ Shang، P.H.؛ Zhu، Y.؛ Liang، Y.C.؛ Guan، R.C.؛ Xu، D. (2019). "The Deep Learning–Based Recommender System "Pubmender" for Choosing a Biomedical Publication Venue: Development and Validation Study". Journal of Medical Internet Research. ج. 21 ع. 5: e12957. DOI:10.2196/12957. PMC:6555124. PMID:31127715. مؤرشف من الأصل في 2024-04-15. اطلع عليه بتاريخ 2024-10-08.
  243. ^ Elkahky، Ali Mamdouh؛ Song، Yang؛ He، Xiaodong (1 مايو 2015). "A Multi-View Deep Learning Approach for Cross Domain User Modeling in Recommendation Systems". Microsoft Research. مؤرشف من الأصل في 2018-01-25. اطلع عليه بتاريخ 2017-06-14.
  244. ^ Chicco، Davide؛ Sadowski، Peter؛ Baldi، Pierre (1 يناير 2014). "Deep autoencoder neural networks for gene ontology annotation predictions". Proceedings of the 5th ACM Conference on Bioinformatics, Computational Biology, and Health Informatics. ACM. ص. 533–540. DOI:10.1145/2649387.2649442. hdl:11311/964622. ISBN:9781450328944. S2CID:207217210. مؤرشف من الأصل في 2021-05-09. اطلع عليه بتاريخ 2015-11-23.
  245. ^ Sathyanarayana، Aarti (1 يناير 2016). "Sleep Quality Prediction From Wearable Data Using Deep Learning". JMIR mHealth and uHealth. ج. 4 ع. 4: e125. DOI:10.2196/mhealth.6562. PMC:5116102. PMID:27815231. S2CID:3821594. مؤرشف من الأصل في 2024-08-17. اطلع عليه بتاريخ 2024-10-08.
  246. ^ Choi، Edward؛ Schuetz، Andy؛ Stewart، Walter F.؛ Sun، Jimeng (13 أغسطس 2016). "Using recurrent neural network models for early detection of heart failure onset". Journal of the American Medical Informatics Association. ج. 24 ع. 2: 361–370. DOI:10.1093/jamia/ocw112. ISSN:1067-5027. PMC:5391725. PMID:27521897. مؤرشف من الأصل في 2024-09-30. اطلع عليه بتاريخ 2024-10-08.
  247. ^ "DeepMind's protein-folding AI has solved a 50-year-old grand challenge of biology". MIT Technology Review (بالإنجليزية). Archived from the original on 2024-10-05. Retrieved 2024-05-10.
  248. ^ Shead, Sam (30 Nov 2020). "DeepMind solves 50-year-old 'grand challenge' with protein folding A.I." CNBC (بالإنجليزية). Archived from the original on 2024-05-13. Retrieved 2024-05-10.
  249. ^ ا ب Shalev, Y.; Painsky, A.; Ben-Gal, I. (2022). "Neural Joint Entropy Estimation" (PDF). IEEE Transactions on Neural Networks and Learning Systems (بالإنجليزية). PP (4): 5488–5500. arXiv:2012.11197. DOI:10.1109/TNNLS.2022.3204919. PMID:36155469. S2CID:229339809. Archived from the original (pdf) on 2024-02-22. Retrieved 2024-10-08.
  250. ^ Litjens، Geert؛ Kooi، Thijs؛ Bejnordi، Babak Ehteshami؛ Setio، Arnaud Arindra Adiyoso؛ Ciompi، Francesco؛ Ghafoorian، Mohsen؛ van der Laak، Jeroen A.W.M.؛ van Ginneken، Bram؛ Sánchez، Clara I. (ديسمبر 2017). "A survey on deep learning in medical image analysis". Medical Image Analysis. ج. 42: 60–88. arXiv:1702.05747. Bibcode:2017arXiv170205747L. DOI:10.1016/j.media.2017.07.005. PMID:28778026. S2CID:2088679. مؤرشف من الأصل في 2024-09-19. اطلع عليه بتاريخ 2024-10-08.
  251. ^ Forslid، Gustav؛ Wieslander، Hakan؛ Bengtsson، Ewert؛ Wahlby، Carolina؛ Hirsch، Jan-Michael؛ Stark، Christina Runow؛ Sadanandan، Sajith Kecheril (2017). "Deep Convolutional Neural Networks for Detecting Cellular Changes Due to Malignancy". 2017 IEEE International Conference on Computer Vision Workshops (ICCVW). ص. 82–89. DOI:10.1109/ICCVW.2017.18. ISBN:9781538610343. S2CID:4728736. مؤرشف من الأصل في 2021-05-09. اطلع عليه بتاريخ 2024-10-08.
  252. ^ Dong، Xin؛ Zhou، Yizhao؛ Wang، Lantian؛ Peng، Jingfeng؛ Lou، Yanbo؛ Fan، Yiqun (2020). "Liver Cancer Detection Using Hybridized Fully Convolutional Neural Network Based on Deep Learning Framework". IEEE Access. ج. 8: 129889–129898. Bibcode:2020IEEEA...8l9889D. DOI:10.1109/ACCESS.2020.3006362. ISSN:2169-3536. S2CID:220733699. مؤرشف من الأصل في 2024-07-10. اطلع عليه بتاريخ 2024-10-08.
  253. ^ Lyakhov, Pavel Alekseevich; Lyakhova, Ulyana Alekseevna; Nagornov, Nikolay Nikolaevich (03 Apr 2022). "System for the Recognizing of Pigmented Skin Lesions with Fusion and Analysis of Heterogeneous Data Based on a Multimodal Neural Network". Cancers (بالإنجليزية). 14 (7): 1819. DOI:10.3390/cancers14071819. ISSN:2072-6694. PMC:8997449. PMID:35406591. Archived from the original on 2024-04-23. Retrieved 2024-10-08.
  254. ^ De، Shaunak؛ Maity، Abhishek؛ Goel، Vritti؛ Shitole، Sanjay؛ Bhattacharya، Avik (2017). "Predicting the popularity of instagram posts for a lifestyle magazine using deep learning". 2017 2nd International Conference on Communication Systems, Computing and IT Applications (CSCITA). ص. 174–177. DOI:10.1109/CSCITA.2017.8066548. ISBN:978-1-5090-4381-1. S2CID:35350962. مؤرشف من الأصل في 2024-06-10. اطلع عليه بتاريخ 2024-10-08.
  255. ^ "Colorizing and Restoring Old Images with Deep Learning". FloydHub Blog (بالإنجليزية). 13 Nov 2018. Archived from the original on 2019-10-11. Retrieved 2019-10-11.
  256. ^ Schmidt، Uwe؛ Roth، Stefan. "Shrinkage Fields for Effective Image Restoration" (pdf). Computer Vision and Pattern Recognition (CVPR), 2014 IEEE Conference on. مؤرشف (PDF) من الأصل في 2018-01-02. اطلع عليه بتاريخ 2018-01-01.
  257. ^ Kleanthous، Christos؛ Chatzis، Sotirios (2020). "Gated Mixture Variational Autoencoders for Value Added Tax audit case selection". Knowledge-Based Systems. ج. 188: 105048. DOI:10.1016/j.knosys.2019.105048. S2CID:204092079. مؤرشف من الأصل في 2024-06-05. اطلع عليه بتاريخ 2024-10-08.
  258. ^ Czech، Tomasz (28 يونيو 2018). "Deep learning: the next frontier for money laundering detection". Global Banking and Finance Review. مؤرشف من الأصل في 2018-11-16. اطلع عليه بتاريخ 2018-07-15.
  259. ^ Nuñez, Michael (29 Nov 2023). "Google DeepMind's materials AI has already discovered 2.2 million new crystals". VentureBeat (بالإنجليزية). Archived from the original on 2024-09-15. Retrieved 2023-12-19.
  260. ^ Merchant, Amil; Batzner, Simon; Schoenholz, Samuel S.; Aykol, Muratahan; Cheon, Gowoon; Cubuk, Ekin Dogus (Dec 2023). "Scaling deep learning for materials discovery". Nature (بالإنجليزية). 624 (7990): 80–85. Bibcode:2023Natur.624...80M. DOI:10.1038/s41586-023-06735-9. ISSN:1476-4687. PMC:10700131. PMID:38030720. Archived from the original on 2024-09-27. Retrieved 2024-10-08.
  261. ^ Peplow, Mark (29 Nov 2023). "Google AI and robots join forces to build new materials". Nature (بالإنجليزية). DOI:10.1038/d41586-023-03745-5. PMID:38030771. S2CID:265503872. Archived from the original on 2024-09-18. Retrieved 2024-10-08.
  262. ^ ا ب ج "Army researchers develop new algorithms to train robots". EurekAlert!. مؤرشف من الأصل في 2018-08-28. اطلع عليه بتاريخ 2018-08-29.
  263. ^ Raissi, M.; Perdikaris, P.; Karniadakis, G. E. (01 Feb 2019). "Physics-informed neural networks: A deep learning framework for solving forward and inverse problems involving nonlinear partial differential equations". Journal of Computational Physics (بالإنجليزية). 378: 686–707. Bibcode:2019JCoPh.378..686R. DOI:10.1016/j.jcp.2018.10.045. ISSN:0021-9991. OSTI:1595805. S2CID:57379996. Archived from the original on 2024-10-06. Retrieved 2024-10-08.
  264. ^ Mao, Zhiping; Jagtap, Ameya D.; Karniadakis, George Em (01 Mar 2020). "Physics-informed neural networks for high-speed flows". Computer Methods in Applied Mechanics and Engineering (بالإنجليزية). 360: 112789. Bibcode:2020CMAME.360k2789M. DOI:10.1016/j.cma.2019.112789. ISSN:0045-7825. S2CID:212755458. Archived from the original on 2024-09-17. Retrieved 2024-10-08.
  265. ^ Raissi، Maziar؛ Yazdani، Alireza؛ Karniadakis، George Em (28 فبراير 2020). "Hidden fluid mechanics: Learning velocity and pressure fields from flow visualizations". Science. ج. 367 ع. 6481: 1026–1030. Bibcode:2020Sci...367.1026R. DOI:10.1126/science.aaw4741. PMC:7219083. PMID:32001523. مؤرشف من الأصل في 2024-09-27. اطلع عليه بتاريخ 2024-10-08.
  266. ^ Han، J.؛ Jentzen، A.؛ E، W. (2018). "Solving high-dimensional partial differential equations using deep learning". Proceedings of the National Academy of Sciences. ج. 115 ع. 34: 8505–8510. arXiv:1707.02568. Bibcode:2018PNAS..115.8505H. DOI:10.1073/pnas.1718942115. PMC:6112690. PMID:30082389. مؤرشف من الأصل في 2024-10-01. اطلع عليه بتاريخ 2024-10-08.
  267. ^ Oktem، Figen S.؛ Kar، Oğuzhan Fatih؛ Bezek، Can Deniz؛ Kamalabadi، Farzad (2021). "High-Resolution Multi-Spectral Imaging With Diffractive Lenses and Learned Reconstruction". IEEE Transactions on Computational Imaging. ج. 7: 489–504. arXiv:2008.11625. DOI:10.1109/TCI.2021.3075349. ISSN:2333-9403. S2CID:235340737. مؤرشف من الأصل في 2024-07-11. اطلع عليه بتاريخ 2024-10-08.
  268. ^ Bernhardt، Melanie؛ Vishnevskiy، Valery؛ Rau، Richard؛ Goksel، Orcun (ديسمبر 2020). "Training Variational Networks With Multidomain Simulations: Speed-of-Sound Image Reconstruction". IEEE Transactions on Ultrasonics, Ferroelectrics, and Frequency Control. ج. 67 ع. 12: 2584–2594. arXiv:2006.14395. DOI:10.1109/TUFFC.2020.3010186. ISSN:1525-8955. PMID:32746211. S2CID:220055785. مؤرشف من الأصل في 2024-09-18. اطلع عليه بتاريخ 2024-10-08.
  269. ^ Lam, Remi; Sanchez-Gonzalez, Alvaro; Willson, Matthew; Wirnsberger, Peter; Fortunato, Meire; Alet, Ferran; Ravuri, Suman; Ewalds, Timo; Eaton-Rosen, Zach; Hu, Weihua; Merose, Alexander; Hoyer, Stephan; Holland, George; Vinyals, Oriol; Stott, Jacklynn (22 Dec 2023). "Learning skillful medium-range global weather forecasting". Science (بالإنجليزية). 382 (6677): 1416–1421. arXiv:2212.12794. Bibcode:2023Sci...382.1416L. DOI:10.1126/science.adi2336. ISSN:0036-8075. PMID:37962497. Archived from the original on 2024-10-06. Retrieved 2024-10-08.
  270. ^ Sivakumar, Ramakrishnan (27 Nov 2023). "GraphCast: A breakthrough in Weather Forecasting". Medium (بالإنجليزية). Archived from the original on 2024-07-12. Retrieved 2024-05-19.
  271. ^ Galkin، F.؛ Mamoshina، P.؛ Kochetov، K.؛ Sidorenko، D.؛ Zhavoronkov، A. (2020). "DeepMAge: A Methylation Aging Clock Developed with Deep Learning". Aging and Disease. DOI:10.14336/AD. مؤرشف من الأصل في 2024-04-27. اطلع عليه بتاريخ 2024-10-08.
  272. ^ Utgoff، P. E.؛ Stracuzzi، D. J. (2002). "Many-layered learning". Neural Computation. ج. 14 ع. 10: 2497–2529. DOI:10.1162/08997660260293319. PMID:12396572. S2CID:1119517. مؤرشف من الأصل في 2024-06-10. اطلع عليه بتاريخ 2024-10-08.
  273. ^ Elman، Jeffrey L. (1998). Rethinking Innateness: A Connectionist Perspective on Development. MIT Press. ISBN:978-0-262-55030-7. مؤرشف من الأصل في 2023-04-21. اطلع عليه بتاريخ 2024-10-08.
  274. ^ Shrager، J.؛ Johnson، MH (1996). "Dynamic plasticity influences the emergence of function in a simple cortical array". Neural Networks. ج. 9 ع. 7: 1119–1129. DOI:10.1016/0893-6080(96)00033-0. PMID:12662587. مؤرشف من الأصل في 2024-06-06. اطلع عليه بتاريخ 2024-10-08.
  275. ^ Quartz، SR؛ Sejnowski، TJ (1997). "The neural basis of cognitive development: A constructivist manifesto". Behavioral and Brain Sciences. ج. 20 ع. 4: 537–556. CiteSeerX:10.1.1.41.7854. DOI:10.1017/s0140525x97001581. PMID:10097006. S2CID:5818342. مؤرشف من الأصل في 2024-09-30. اطلع عليه بتاريخ 2024-10-08.
  276. ^ S. Blakeslee, "In brain's early growth, timetable may be critical", The New York Times, Science Section, pp. B5–B6, 1995.
  277. ^ Mazzoni، P.؛ Andersen، R. A.؛ Jordan، M. I. (15 مايو 1991). "A more biologically plausible learning rule for neural networks". Proceedings of the National Academy of Sciences. ج. 88 ع. 10: 4433–4437. Bibcode:1991PNAS...88.4433M. DOI:10.1073/pnas.88.10.4433. ISSN:0027-8424. PMC:51674. PMID:1903542. مؤرشف من الأصل في 2024-06-14. اطلع عليه بتاريخ 2024-10-08.
  278. ^ O'Reilly، Randall C. (1 يوليو 1996). "Biologically Plausible Error-Driven Learning Using Local Activation Differences: The Generalized Recirculation Algorithm". Neural Computation. ج. 8 ع. 5: 895–938. DOI:10.1162/neco.1996.8.5.895. ISSN:0899-7667. S2CID:2376781. مؤرشف من الأصل في 2024-09-15. اطلع عليه بتاريخ 2024-10-08.
  279. ^ Testolin، Alberto؛ Zorzi، Marco (2016). "Probabilistic Models and Generative Neural Networks: Towards an Unified Framework for Modeling Normal and Impaired Neurocognitive Functions". Frontiers in Computational Neuroscience. ج. 10: 73. DOI:10.3389/fncom.2016.00073. ISSN:1662-5188. PMC:4943066. PMID:27468262. S2CID:9868901. مؤرشف من الأصل في 2024-09-29. اطلع عليه بتاريخ 2024-10-08.
  280. ^ Testolin، Alberto؛ Stoianov، Ivilin؛ Zorzi، Marco (سبتمبر 2017). "Letter perception emerges from unsupervised deep learning and recycling of natural image features". Nature Human Behaviour. ج. 1 ع. 9: 657–664. DOI:10.1038/s41562-017-0186-2. ISSN:2397-3374. PMID:31024135. S2CID:24504018. مؤرشف من الأصل في 2024-06-10. اطلع عليه بتاريخ 2024-10-08.
  281. ^ Buesing، Lars؛ Bill، Johannes؛ Nessler، Bernhard؛ Maass، Wolfgang (3 نوفمبر 2011). "Neural Dynamics as Sampling: A Model for Stochastic Computation in Recurrent Networks of Spiking Neurons". PLOS Computational Biology. ج. 7 ع. 11: e1002211. Bibcode:2011PLSCB...7E2211B. DOI:10.1371/journal.pcbi.1002211. ISSN:1553-7358. PMC:3207943. PMID:22096452. S2CID:7504633. مؤرشف من الأصل في 2024-10-01. اطلع عليه بتاريخ 2024-10-08.
  282. ^ Cash، S.؛ Yuste، R. (فبراير 1999). "Linear summation of excitatory inputs by CA1 pyramidal neurons". Neuron. ج. 22 ع. 2: 383–394. DOI:10.1016/s0896-6273(00)81098-3. ISSN:0896-6273. PMID:10069343. S2CID:14663106. مؤرشف من الأصل في 2024-10-01. اطلع عليه بتاريخ 2024-10-08.
  283. ^ Olshausen، B؛ Field، D (1 أغسطس 2004). "Sparse coding of sensory inputs". Current Opinion in Neurobiology. ج. 14 ع. 4: 481–487. DOI:10.1016/j.conb.2004.07.007. ISSN:0959-4388. PMID:15321069. S2CID:16560320. مؤرشف من الأصل في 2024-09-14. اطلع عليه بتاريخ 2024-10-08.
  284. ^ Zorzi، Marco؛ Testolin، Alberto (19 فبراير 2018). "An emergentist perspective on the origin of number sense". Phil. Trans. R. Soc. B. ج. 373 ع. 1740: 20170043. DOI:10.1098/rstb.2017.0043. ISSN:0962-8436. PMC:5784047. PMID:29292348. S2CID:39281431. مؤرشف من الأصل في 2024-09-16. اطلع عليه بتاريخ 2024-10-08.
  285. ^ Güçlü، Umut؛ van Gerven، Marcel A. J. (8 يوليو 2015). "Deep Neural Networks Reveal a Gradient in the Complexity of Neural Representations across the Ventral Stream". Journal of Neuroscience. ج. 35 ع. 27: 10005–10014. arXiv:1411.6422. DOI:10.1523/jneurosci.5023-14.2015. PMC:6605414. PMID:26157000. مؤرشف من الأصل في 2024-07-09. اطلع عليه بتاريخ 2024-10-08.
  286. ^ Metz، C. (12 ديسمبر 2013). "Facebook's 'Deep Learning' Guru Reveals the Future of AI". Wired. مؤرشف من الأصل في 2014-03-28. اطلع عليه بتاريخ 2017-08-26.
  287. ^ Gibney، Elizabeth (2016). "Google AI algorithm masters ancient game of Go". Nature. ج. 529 ع. 7587: 445–446. Bibcode:2016Natur.529..445G. DOI:10.1038/529445a. PMID:26819021. S2CID:4460235. مؤرشف من الأصل في 2024-09-09. اطلع عليه بتاريخ 2024-10-08.
  288. ^ Silver، David؛ Huang، Aja؛ Maddison، Chris J.؛ Guez، Arthur؛ Sifre، Laurent؛ Driessche، George van den؛ Schrittwieser، Julian؛ Antonoglou، Ioannis؛ Panneershelvam، Veda؛ Lanctot، Marc؛ Dieleman، Sander؛ Grewe، Dominik؛ Nham، John؛ Kalchbrenner، Nal؛ Sutskever، Ilya؛ Lillicrap، Timothy؛ Leach، Madeleine؛ Kavukcuoglu، Koray؛ Graepel، Thore؛ Hassabis، Demis (28 يناير 2016). "Mastering the game of Go with deep neural networks and tree search". Nature. ج. 529 ع. 7587: 484–489. Bibcode:2016Natur.529..484S. DOI:10.1038/nature16961. ISSN:0028-0836. PMID:26819042. S2CID:515925. مؤرشف من الأصل في 2024-10-01. اطلع عليه بتاريخ 2024-10-08. 
  289. ^ "A Google DeepMind Algorithm Uses Deep Learning and More to Master the Game of Go | MIT Technology Review". MIT Technology Review. مؤرشف من الأصل في 2016-02-01. اطلع عليه بتاريخ 2016-01-30.
  290. ^ Metz، Cade (6 نوفمبر 2017). "A.I. Researchers Leave Elon Musk Lab to Begin Robotics Start-Up". The New York Times. مؤرشف من الأصل في 2019-07-07. اطلع عليه بتاريخ 2019-07-05.
  291. ^ Bradley Knox, W.؛ Stone, Peter (2008). "TAMER: Training an Agent Manually via Evaluative Reinforcement". 2008 7th IEEE International Conference on Development and Learning. ص. 292–297. DOI:10.1109/devlrn.2008.4640845. ISBN:978-1-4244-2661-4. S2CID:5613334. مؤرشف من الأصل في 2024-06-04. اطلع عليه بتاريخ 2024-10-08.
  292. ^ "Talk to the Algorithms: AI Becomes a Faster Learner". governmentciomedia.com. 16 مايو 2018. مؤرشف من الأصل في 2018-08-28. اطلع عليه بتاريخ 2018-08-29.
  293. ^ Marcus، Gary (14 يناير 2018). "In defense of skepticism about deep learning". Gary Marcus. مؤرشف من الأصل في 2018-10-12. اطلع عليه بتاريخ 2018-10-11.
  294. ^ Knight، Will (14 مارس 2017). "DARPA is funding projects that will try to open up AI's black boxes". MIT Technology Review. مؤرشف من الأصل في 2019-11-04. اطلع عليه بتاريخ 2017-11-02.
  295. ^ Marcus، Gary (25 نوفمبر 2012). "Is "Deep Learning" a Revolution in Artificial Intelligence?". The New Yorker. مؤرشف من الأصل في 2009-11-27. اطلع عليه بتاريخ 2017-06-14.
  296. ^ Alexander Mordvintsev؛ Christopher Olah؛ Mike Tyka (17 يونيو 2015). "Inceptionism: Going Deeper into Neural Networks". Google Research Blog. مؤرشف من الأصل في 2015-07-03. اطلع عليه بتاريخ 2015-06-20.
  297. ^ Alex Hern (18 يونيو 2015). "Yes, androids do dream of electric sheep". The Guardian. مؤرشف من الأصل في 2015-06-19. اطلع عليه بتاريخ 2015-06-20.
  298. ^ ا ب ج Goertzel، Ben (2015). "Are there Deep Reasons Underlying the Pathologies of Today's Deep Learning Algorithms?" (pdf). مؤرشف (PDF) من الأصل في 2015-05-13. اطلع عليه بتاريخ 2015-05-10.
  299. ^ Nguyen، Anh؛ Yosinski، Jason؛ Clune، Jeff (2014). "Deep Neural Networks are Easily Fooled: High Confidence Predictions for Unrecognizable Images". arXiv:1412.1897 [cs.CV]. {{استشهاد بأرخايف}}: الوسيط |arxiv= مطلوب (مساعدة)
  300. ^ Szegedy، Christian؛ Zaremba، Wojciech؛ Sutskever، Ilya؛ Bruna، Joan؛ Erhan، Dumitru؛ Goodfellow، Ian؛ Fergus، Rob (2013). "Intriguing properties of neural networks". arXiv:1312.6199 [cs.CV]. {{استشهاد بأرخايف}}: الوسيط |arxiv= مطلوب (مساعدة)
  301. ^ Zhu، S.C.؛ Mumford، D. (2006). "A stochastic grammar of images". Found. Trends Comput. Graph. Vis. ج. 2 ع. 4: 259–362. CiteSeerX:10.1.1.681.2190. DOI:10.1561/0600000018. مؤرشف من الأصل في 2024-08-02. اطلع عليه بتاريخ 2024-10-08.
  302. ^ Miller, G. A., and N. Chomsky. "Pattern conception". Paper for Conference on pattern detection, University of Michigan. 1957.
  303. ^ Eisner، Jason. "Deep Learning of Recursive Structure: Grammar Induction". مؤرشف من الأصل في 2017-12-30. اطلع عليه بتاريخ 2015-05-10.
  304. ^ "Hackers Have Already Started to Weaponize Artificial Intelligence". Gizmodo. 11 سبتمبر 2017. مؤرشف من الأصل في 2019-10-11. اطلع عليه بتاريخ 2019-10-11.
  305. ^ "How hackers can force AI to make dumb mistakes". The Daily Dot (بالإنجليزية). 18 Jun 2018. Archived from the original on 2019-10-11. Retrieved 2019-10-11.
  306. ^ ا ب ج د ه "AI Is Easy to Fool—Why That Needs to Change". Singularity Hub. 10 أكتوبر 2017. مؤرشف من الأصل في 2017-10-11. اطلع عليه بتاريخ 2017-10-11.
  307. ^ Gibney، Elizabeth (2017). "The scientist who spots fake videos". Nature. DOI:10.1038/nature.2017.22784. مؤرشف من الأصل في 2017-10-10. اطلع عليه بتاريخ 2017-10-11.
  308. ^ Tubaro, Paola (2020). "Whose intelligence is artificial intelligence?". Global Dialogue (بالإنجليزية): 38–39. Archived from the original on 2024-02-25. Retrieved 2024-10-08.
  309. ^ ا ب ج د Mühlhoff, Rainer (6 Nov 2019). "Human-aided artificial intelligence: Or, how to run large computations in human brains? Toward a media sociology of machine learning". New Media & Society (بالإنجليزية). 22 (10): 1868–1884. DOI:10.1177/1461444819885334. ISSN:1461-4448. S2CID:209363848. Archived from the original on 2024-07-12. Retrieved 2024-10-08.
  310. ^ "Facebook Can Now Find Your Face, Even When It's Not Tagged". Wired (بالإنجليزية). ISSN:1059-1028. Archived from the original on 2019-08-10. Retrieved 2019-11-22.
مجلوبة من «https://ar.wikipedia.org/w/index.php?title=تعلم_متعمق&oldid=68786955»