ويكيبيديا

تعلم متعمق

التعلّم المُتعمّق أو التعلّم العميق[1] هو مجال بحث جديد يتناول إيجاد نظريات وخوارزميات تتيح للآلة أن تتعلم بنفسها عن طريق محاكاة الخلايا العصبية في جسم الإنسان. وأحد فروع العلوم التي تتناول علوم الذكاء الاصطناعي. يعد من فرع من فروع علوم التعلم الآلي، تركز معظم أبحاث التعلم المتعمق على إيجاد أساليب استنباط درجة عالية من المتجردات بتحليل مجموعة بيانات ضخمة، [2] باستخدام متحولات خطية وغير خطية.[3][4][5][6][7][8][9][10][11] تُشير صفة "عميق" إلى استخدام طبقاتٍ مُتعددةٍ (تتراوح من ثلاث طبقاتٍ إلى عدة مئاتٍ أو آلاف) في الشبكة. يُمكن أن تكون الأساليب المُستخدمة إما مُراقبةً أو شبه مُراقبةٍ أو غير مُراقبة. [12]

كيف يعتبر التعلم العميق جزءًا من التعلم الآلي وكيف يعتبر التعلم الآلي جزءًا من الذكاء الاصطناعي (AI).

تشمل بعض بنى شبكات التعلم العميق الشائعة الشبكات المُتصلة بالكامل، وشبكات المعتقدات العميقة، والشبكات العصبية الالتفافية، والشبكات العصبية المُتكررة، والشبكات التوليدية التنافسية، والمُحولات، وحقول الإشعاع العصبي. تم تطبيق هذه البنى على مجالاتٍ تشمل الرؤية الحاسوبية، والتعرف على الكلام، ومعالجة اللغة الطبيعية، والترجمة الآلية، والمعلوماتية الحيوية، وتصميم الأدوية، وتحليل الصور الطبية، وعلم المناخ، وفحص المواد، وبرامج ألعاب الطاولة، حيث أنتجت نتائج مُقارنةً بِأداء الخبراء البشرِ، وفي بعض الحالات تتجاوزُه. [13][14][15]

استُلهِمَت الأشكال المُبكرة من الشبكات العصبية من مُعالجة المعلومات وعُقَد الاتصال المُوزعة في الأنظمة البيولوجية، وخاصةً الدماغ البشري. ومع ذلك، لا تهدف الشبكات العصبية الحالية إلى نمذجة وظيفة الدماغ لِلكائنات الحية، ويُنظر إليها عمومًا على أنها نماذج ذات جودةٍ مُنخفضةٍ لِهذا الغرض. [16]

الفكرة الاساسية

عدل

يمكن توصيف أي كائن بطرق عديدة متنوعة. مثلا، يمكن توصيف صورة ما على اساس متجهي لدرجة الضياء في كل وحدة بكسل أو بطريقة متجردة على اساس مجموع الحواف والمناطق التي تشكل الصورة. هناك العديد من الاساليب الأخرى التي يمكن استعمالها لتوصيف هذه الصورة. وتشير الدراسات ان بعض هذه الاساليب هي أفضل من غيرها في تبسيط تعلم الآلة (مثل ملاحظة الوجه أو ملاحظة التعابير).[17] ومن الاهداف المتوقعة في دراسة التعلم المتعمق هو استبدال ميزات التعلم الالي التي يتم تحديدها بشريا بميزات يتم انتاجها بواسطة الآلة نفسها عن طريق خوارزميات فعالة في استنباط الميزات بصورة ألية أو نصف آلية.[18]

تعتمد ابحاث التعلم المتعمق على الاكتشافات في علوم الاعصاب بشكل كبير وخاصة في مجال فهم العمليات الترميزة التي يقوم بها النظام العصبي في تحديد العلاقات المختلفة بين المحفزات والنشاطات الدماغية.[19]

نظرة عامة

عدل

تستند مُعظم نماذج التعلم العميق الحديثة إلى شبكات عصبية مُتعددة الطبقات مثل الشبكات العصبية التلافيفية والمُحولات، على الرغم من أنها قد تتضمن أيضًا صيغًا اقتراحيةً أو مُتغيرات كامنةً مُنظمةً في طبقات في نماذج توليدية عميقة مثل العُقَد في شبكات الاعتقاد العميق وآلات بولتزمان العميقة. [20]

بشكل أساسي، يُشير التعلم العميق إلى فئة من خوارزميات التعلم الآلي حيث يتم استخدام تسلسل هرمي من الطبقات لِتحويل بيانات الإدخال إلى تمثيل أكثر تجريدًا وتركيبًا بشكل طفيف. على سبيل المثال، في نموذج التعرف على الصور، قد يكون الإدخال الخام عبارةً عن صورة (مُمثلةٌ كمُوتر من البكسلات). قد تُحاول طبقة التمثيل الأولى تحديد الأشكال الأساسية مثل الخطوط والدوائر، وقد تُؤلف طبقة التمثيل الثانية ترتيبات الحواف وتُشفرها، وقد تُشفر طبقة التمثيل الثالثة أنفًا وعينين، وقد تُدرك طبقة التمثيل الرابعة أن الصورة تحتوي على وجه.

الأهم من ذلك، أن عملية التعلم العميق يُمكنُها تعلم الميزات التي يجب وضعُها على النحو الأمثل في أي مستوى بمفردها. قبل التعلم العميق، غالبًا ما كانت تقنيات التعلم الآلي تنطوي على هندسة ميزات يدوية لِتحويل البيانات إلى تمثيل أكثر مُلاءمةً لِخوارزمية التصنيف لِلعمل عليها. في نهج التعلم العميق، لا يتم تصميم الميزات يدويًا، ويَكتشف النموذج تمثيلات الميزات المُفيدة من البيانات تلقائيًا. هذا لا يُلغي الحاجة إلى الضبط اليدوي؛ على سبيل المثال، يُمكن أن تُوفر أعدادٌ مُتفاوتةٌ من الطبقات وأحجام الطبقات درجات مُختلفةً من التجريد. [21][22]

تُشير كلمة "عميق" في "التعلم العميق" إلى عدد الطبقات التي يتم من خلالِها تحويل البيانات. بِشكل أكثر دقةً، تتمتع أنظمة التعلم العميق بِعمق كبير في مسار تخصيص الرصيد (CAP). مسار تخصيص الرصيد هو سلسلة التحولات من الإدخال إلى الإخراج. يصف مسار تخصيص الرصيد الاتصالات السببية المُحتملة بين الإدخال والإخراج. لِشَبكة عصبية للتغذية الأمامية، فإن عمق مسارات تخصيص الرصيد هو عمق الشبكة وهو عدد الطبقات المخفية زائد واحد (حيث يتم تحديد معلمات طبقة الإخراج أيضًا). بالنسبة لِلشبكات العصبية المُتكررة، التي قد ينتشر فيها إشارةٌ عبر طبقة أكثر من مرة، فإن عمق مسار تخصيص الرصيد غير محدود مُحتملًا. [23]

لا يوجد حدٌ مُتفقٌ عليه عالميًا للعمق يفصل التعلم الضحل عن التعلم العميق، لكن مُعظم الباحثين يتفقون على أن التعلم العميق ينطوي على عمق مسار تخصيص الرصيد أعلى من اثنين. لقد ثبت أن مسار تخصيص الرصيد ذي العمق اثنين هو مُقربٌ شاملٌ بِمعنى أنه يُمكنُه مُحاكاة أي دالة. [24] بعد ذلك، لا تُضيف المزيد من الطبقات إلى قدرة مُقرب الدالة لِلشبكة. النماذج العميقة (مسار تخصيص الرصيد > اثنين) قادرةٌ على استخراج ميزات أفضل من النماذج الضحلة، وبالتالي، تُساعد الطبقات الإضافية في تعلم الميزات بفعالية.

يُمكن بناء بنى التعلم العميق باستخدام خوارزمية طبقة تلو الأخرى. [25] يُساعد التعلم العميق على فك تشابك هذه التجريدات واختيار الميزات التي تُحسن الأداء. [6]

يُمكن تطبيق خوارزميات التعلم العميق على مهام التعلم غير المُراقب. تُعد هذه فائدةً مهمةً لأن البيانات غير المُعلمة أكثر وفرةً من البيانات المُعلمة. من أمثلة البُنى العميقة التي يُمكن تدريبُها بطريقة غير مُراقبة شبكات الاعتقاد العميق. [6][26]

تم تقديم مُصطلح التعلم العميق إلى مجتمع التعلم الآلي بواسطة رينا ديختر في عام 1986، [27] وإلى الشبكات العصبية الاصطناعية بواسطة إيغور آيزنبرغ وزملائه في عام 2000، في سياق الخلايا العصبية ذات عتبة القيمة المنطقية. [28][29] على الرغم من أن تاريخ ظهورِه يبدو أكثر تعقيدًا. [30]

التفسيرات

عدل

تفسر الشبكات العصبية العميقة عمومًا من حيث مبرهنة التقريب العام [31][32][33][34][35] أو استدلال بايزي. [36][37][21][23][38]

تتعلق نظرية التقريب الشاملة الكلاسيكية بقدرة الشبكات العصبية للتغذية الأمامية ذات طبقة واحدة مخفية ذات حجم محدود على تقريب الدوال المستمرة. [31][32][33][34] في عام 1989، نشر جورج سيبيكو أول دليل لدوال التنشيط السينية، [31] وتم تعميمه على بنى متعددة الطبقات للتغذية الأمامية في عام 1991 بواسطة كورت هورنيك. [32] أظهر العمل الأخير أيضًا أن التقريب الشامل ينطبق أيضًا على دوال التنشيط غير المحدودة مثل وحدة كونييهيكو فوكوشيما الخطية المصححة. [39][40]

تتعلق نظرية التقريب الشاملة للشبكات العصبية العميقة بقدرة الشبكات ذات العرض المحدد ولكن يسمح للعمق بالنمو. أثبت لو وآخرون [35] أنه إذا كان عرض شبكة عصبية عميقة ذات تنشيط وحدة خطية مصححة أكبر بشكل صارم من بعد الإدخال، فإن الشبكة يمكنها تقريب أي دالة قابلة للتكامل للوبيغ؛ إذا كان العرض أصغر من أو يساوي العرض بعد الإدخال، فإن الشبكة العصبية العميقة ليست مقربًا شاملًا.

يشتق التفسير الاحتمالي، [38] من مجال التعلم الآلي. ويتميز بالاستدلال، [37][20][6][23][26][38] بالإضافة إلى مفاهيم التحسين للتدريب والاختبار، والمتعلقة بالتأقلم والتعميم على التوالي. وبشكل أكثر تحديدًا، يأخذ التفسير الاحتمالي في الاعتبار اللاخطية التنشيطية كدالة توزيع تراكمية. [38] أدى التفسير الاحتمالي إلى إدخال التسرب كمنظم في الشبكات العصبية. تم تقديم التفسير الاحتمالي من قبل باحثين بما في ذلك هوبفيلد وويدرو وناريندرا، وتم تعميمه في دراسات استقصائية مثل تلك التي أجراها كريستوفر بيشوب. [41]

التاريخ

عدل

هناك نوعان من الشبكات العصبية الاصطناعية (ANN): الشبكة العصبية للتغذية الأمامية (FNN) أو المدرك المتعدد الطبقات (MLP) والشبكات العصبية المتكررة (RNN). تحتوي الشبكات العصبية المتكررة على دورات في هيكل اتصالها، بينما لا تحتوي الشبكات العصبية للتغذية الأمامية على ذلك. في عشرينيات القرن الماضي، ابتكر فيلهلم لينز وإرنست إيسينغ نموذج إيزينج [42][43] الذي هو في الأساس بنية شبكة عصبية متكررة غير متعلمة تتكون من عناصر عتبة تشبه الخلايا العصبية. في عام 1972، جعل شونيتشي أماري هذه البنية قابلةً للتكيف.[44][45] أعاد جون هوبفيلد نشر شبكته العصبية المتكررة المتعلمة في عام 1982. [46] نشر كاورو ناكانو شبكات عصبية متكررة مبكرةً أخرى في عام 1971. [47][48] في عام 1948، أنتج آلان تورينج أعمالًا حول "الآلات الذكية" لكنها لم تنشر في حياته، [49] وأحتوت على "أفكار متعلقة بالتطور الاصطناعي وتعلم الشبكات العصبية المتكررة".[45]

اقترح فرانك روزنبلات (1958) [50] المدرك، وهو شبكة عصبية للتغذية الأمامية ذات ثلاث طبقات: طبقة إدخال، وطبقة مخفية ذات أوزان عشوائية لم تتعلم، وطبقة إخراج. نشر لاحقًا كتابًا في عام 1962 قدم أيضًا متغيرات وتجارب حاسوبية، بما في ذلك إصدار يحتوي على مدركات ذات أربع طبقات "مع شبكات متكيفة قبل النهائية" حيث تتعلم الطبقتان الأخيرتان الأوزان (هنا ينسب الفضل إلى إتش. دي. بلوك وبي. دبليو. نايت).[51]:القسم 16: يشير الكتاب إلى شبكة سابقة بواسطة آر. دي. جوزيف (1960) [52] "مكافئة وظيفيًا لتغير" في هذا النظام ذي الأربع طبقات (يذكر الكتاب جوزيف أكثر من 30 مرة). هل ينبغي إذن اعتبار جوزيف منشئ المدركات المتعددة الطبقات المتكيفة المناسبة مع وحدات مخفية متعلمة؟ لسوء الحظ، لم تكن خوارزمية التعلم وظيفية، وسقطت في طي النسيان.

كانت أول خوارزمية تعلم عميق عاملة هي طريقة المجموعة لمعالجة البيانات، وهي طريقة لتدريب الشبكات العصبية العميقة بشكل تعسفي، والتي نشرها أليكسي إيفاخنينكو [الإنجليزية] ولابا في عام 1965. لقد اعتبروها شكلاً من أشكال الانحدار متعدد الحدود، [53] أو تعميمًا لمدرك روزنبلات.[54] وصفت ورقة بحثية عام 1971 شبكةً عميقةً ذات ثماني طبقات تم تدريبها بهذه الطريقة، [55] والتي تستند إلى التدريب طبقةً تلو الأخرى من خلال تحليل الانحدار. يتم تقليم الوحدات المخفية الزائدة باستخدام مجموعة تحقق منفصلة. نظرًا لأن دوال تنشيط العقد هي متعددات حدود كولموغوروف-غابور، فقد كانت هذه أيضًا أول الشبكات العميقة ذات وحدات ضربية أو "بوابات". [45]

نشر شونيتشي أماري أول مدرك متعدد الطبقات للتعلم العميق مدرب بواسطة الانحدار التدريجي العشوائي [56] في عام 1967. [57] في التجارب الحاسوبية التي أجراها سايتو، الطالب لدى أماري، تعلم مدرك متعدد الطبقات من خمس طبقات ذو طبقتين قابلتين للتعديل تمثيلات داخليةً لتصنيف فئات الأنماط غير القابلة للفصل خطيًا. [45] جعلت التطورات اللاحقة في الأجهزة وضبط المعلمات الفائقة من الانحدار التدريجي العشوائي من طرف إلى طرف تقنية التدريب المهيمنة حاليًا.

في عام 1969، قدم كونيهيكو فوكوشيما دالة تنشيط ReLU (وحدة التقويم الخطية) تابع التفعيل. [39][45] أصبح المقوم هو دالة التنشيط الأكثر شيوعًا للتعلم العميق. [58]

بدأت بنى التعلم العميق للشبكات العصبية التلافيفية (CNNs) مع طبقات تلافيفية وطبقات للتقليل من العينات مع نيوكونييترون الذي قدمه كونيهيكو فوكوشيما في عام 1979، على الرغم من عدم تدريبه بواسطة الانتشار العكسي. [59][60]

الانتشار العكسي هو تطبيق فعال لقاعدة السلسلة التي اشتقها غوتفريد فيلهلم لايبنتس في عام 1673 [61] على شبكات العقد القابلة للاشتقاق. تم تقديم مصطلح "أخطاء الانتشار العكسي" في الواقع في عام 1962 بواسطة روزنبلات، [51] لكنه لم يكن يعرف كيفية تطبيق ذلك، على الرغم من أن هنري جيه كيلي كان لديه مقدمة مستمرة للانتشار العكسي في عام 1960 في سياق نظرية التحكم. [62] نشر الشكل الحديث للانتشار العكسي لأول مرة في أطروحة الماجستير لسيبو ليناينما (1970). [63][64][45] أعاد جي. إم. أوستروفسكي وآخرون نشرها في عام 1971. [65][66] طبق بول ويربوس الانتشار العكسي على الشبكات العصبية في عام 1982 [67] (أطروحة الدكتوراه الخاصة به لعام 1974، التي أعيد طبعها في كتاب عام 1994، [68] لم تصف الخوارزمية بعد [66]). في عام 1986، عمم ديفيد إي روميلهارت وآخرون الانتشار العكسي لكنهم لم يستشهدوا بالعمل الأصلي. [69][70]

الثمانينيات والتسعينيات

عدل

تمّ تقديم الشّبكة العصبية ذات التّأخير الزمنيّ (TDNN) في عام 1987 بواسطة ألكسندر وايبل لتطبيق الشّبكات العصبية التلافيفية على التعرّف على الفونيم. استخدمت التّلافيف ومشاركة الوزن والانتشار العكسيّ. [71][72] في عام 1988، طبّق وي تشانغ شبكةً عصبيةً تلافيفيةً مدرّبةً بالانتشار العكسيّ على التعرّف على الحروف الأبجدية. [73] في عام 1989، ابتكر يان ليكون وآخرون شبكةً عصبيةً تلافيفيةً تسمّى LeNet للتعرّف على الرموز البريدية المكتوبة بخطّ اليد على البريد. استغرق التّدريب 3 أيام. [74] في عام 1990، طبّق وي تشانغ شبكةً عصبيةً تلافيفيةً على أجهزة الحوسبة البصرية. [75] في عام 1991، تمّ تطبيق شبكة عصبية تلافيفية على تجزئة كائن الصّورة الطبية [76] واكتشاف سرطان الثّدي في صور الثّدي بالأشعّة السّينية. [77] تمّ تطبيق LeNet-5 (في 1998)، وهي شبكة عصبية تلافيفية من 7 مستويات بواسطة يان ليكون وآخرون، تصنّف الأرقام، بواسطة العديد من البنوك للتعرّف على الأرقام المكتوبة بخطّ اليد على الشّيكات المرقمنة في صور بدقّة 32 × 32 بكسل. [78]

تمّ تطوير الشّبكات العصبية المتكرّرة (RNN) [42][44] بشكل أكبر في الثمانينيات. يتمّ استخدام التّكرار لمعالجة التّسلسل، وعندما يتمّ فكّ شبكة متكرّرة، فإنّها تشبه رياضيًا طبقةً تغذيةً أماميةً عميقة. وبالتّالي، فإنّ لها خصائص وقضايا متشابهة، وكان لتطوّراتها تأثيرات متبادلة. في الشّبكات العصبية المتكرّرة، كان هناك عملان مؤثّران مبكّران هما شبكة جوردان في 1986، [79] وشبكة إلمان في 1990، [80] التي طبّقت الشّبكات العصبية المتكرّرة لدراسة المشكلات في علم النفس المعرفي.

في الثمانينيات، لم يكن الانتشار العكسيّ يعمل بشكل جيّد مع التعلّم العميق ذي مسارات تخصيص الرّصيد الطويلة. للتغلّب على هذه المشكلة، في عام 1991، اقترح يورغن شميدهوبر تسلسلًا هرميًا من الشّبكات العصبية المتكرّرة مدرّبةً مسبقًا مستوىً واحدًا في كلّ مرّة بواسطة التعلّم الذّاتيّ الإشراف حيث تحاول كلّ شبكة عصبية متكرّرة التنبّؤ بإدخالها التّالي، وهو الإدخال التّالي غير المتوقّع للشّبكة العصبية المتكرّرة أدناه. [81][82] يستخدم هذا "الضّاغط التّاريخيّ العصبيّ" التّشفير التنبّئيّ لتعلّم التّمثيلات الدّاخلية على نطاقات زمنية متعدّدة التنظيم الذّاتيّ. يمكن أن يسهّل هذا بشكل كبير التعلّم العميق في المراحل التّالية. يمكن دمج التسلسل الهرميّ للشّبكات العصبية المتكرّرة في شبكة عصبية متكرّرة واحدة، عن طريق تقطير شبكة تجميع ذات مستوىً أعلى إلى شبكة تشغيل آليّ ذات مستوىً أدنى. [81][82][45] في عام 1993، حلّ ضّاغط تاريخيّ عصبيّ مهمّة "تعلّم عميق جدًا" تطلّبت أكثر من 1000 طبقة لاحقة في شبكة عصبية متكرّرة تمّ نشرها بمرور الوقت. [83] يشير الحرف "P" في ChatGPT إلى مثل هذا التّدريب المسبق.

طبّقت أطروحة دبلوم سيب هوشريتر عام 1991 [84] الضّاغط التّاريخيّ العصبيّ، [81] وحدّدت وحلّلت مشكلة التّدريج المتلاشي. [84][85] اقترح هوشريتر اتّصالات متبقيةً متكرّرةً لحلّ مشكلة التّدريج المتلاشي. أدّى هذا إلى ظهور ذاكرة المدى الطويل القصيرة (LSTM)، التي نشرت في عام 1995. [86] يمكن لذاكرة المدى الطويل القصيرة تعلّم مهامّ "التعلّم العميق جدًا" [23] مع مسارات تخصيص رصيد طويلة تتطلّب ذكريات أحداث وقعت قبل آلاف الخطوات الزمنية المنفصلة. لم تكن ذاكرة المدى الطويل القصيرة هي البنية الحديثة بعد، والتي تطلّبت "بوابة نسيان"، تمّ تقديمها في عام 1999، [87] والتي أصبحت بنية الشّبكة العصبية المتكرّرة القياسية.

في عام 1991، نشر يورغن شميدهوبر أيضًا شبكات عصبيةً متنافسةً تتنافس مع بعضها البعض على شكل لعبة ذات مجموع صفريّ، حيث يكون ربح شبكة واحدة هو خسارة الشّبكة الأخرى. [88][89] الشّبكة الأولى هي نموذج توليديّ يصوّر توزيع احتمالية على أنماط الإخراج. تتعلّم الشّبكة الثّانية عن طريق الانحدار التّدريجيّ التنبّؤ بردود فعل البيئة على هذه الأنماط. سميّ هذا بـ "الفضول الاصطناعيّ". في عام 2014، تمّ استخدام هذا المبدأ في الشّبكات التوليدية المتنافسة (GANs). [90]

خلال 1985-1995، تمّ تطوير العديد من البنى والطرق بواسطة تيري سيجنوفسكي وبيتر دايان وجيوفري هينتون مستوحاةً من الميكانيكا الإحصائية، مثل آلة بولتزمان، [91] وآلة بولتزمان المقيّدة، [92] وآلة هيلمهولتز، [93] وخوارزمية الاستيقاظ والنّوم. [94] صمّمت هذه للتعلّم غير المراقب لنماذج توليدية عميقة. ومع ذلك كانت هذه أكثر تكلفةً من الناحية الحسابية مقارنةً بالانتشار العكسيّ. كانت خوارزمية تعلّم آلة بولتزمان التي نشرت في عام 1985، شائعةً لفترة وجيزة قبل أن تطغى عليها خوارزمية الانتشار العكسيّ في عام 1986. (ص 112 [95]). أصبحت شبكة عام 1988 حالةً فنيةً في التنبّؤ ببنية البروتين، وهو تطبيق مبكّر للتعلّم العميق على المعلوماتية الحيوية. [96]

تمّ استكشاف التعلّم الضحل والعميق (على سبيل المثال، الشّبكات المتكرّرة) للشّبكات العصبية الاصطناعية للتعرّف على الكلام لسنوات عديدة. [97][98][99] لم تتفوّق هذه الطرق أبدًا على تقنية نموذج الخليط/نظرية ماركوف المخفية (GMM-HMM) الدّاخلية غير الموحّدة المصنوعة يدويًا والقائمة على نماذج توليدية للكلام مدرّبةً بشكل تمييزيّ. [100] تمّ تحليل الصّعوبات الرّئيسية، بما في ذلك تناقص التّدريج [70] وهيكل الارتباط الزمنيّ الضعيف في نماذج التنبّؤ العصبية. [101][102] من الصّعوبات الإضافية نقص بيانات التّدريب وقدرة الحوسبة المحدودة.

ابتعد معظم باحثي التعرّف على الكلام عن الشّبكات العصبية لمتابعة النّمذجة التّوليدية. كان الاستثناء في معهد ستانفورد للأبحاث في أواخر التسعينيات. بتمويل من وكالة الأمن القومي الأمريكية وداربا، أجرت وكالة الأمن القومي بحثًا في التعرّف على الكلام والمتحدّث. أفاد فريق التعرّف على المتحدّث بقيادة لاري هيك بنجاح كبير مع الشّبكات العصبية العميقة في معالجة الكلام في معيار المعهد الوطني للمعايير والتقانة لعام 1998، [103][104] وهو يمثّل أوّل تطبيق صناعيّ رئيسيّ للتعلّم العميق.[105]

تمّ استكشاف مبدأ رفع الميزات "الخام" على التّحسين المصنوع يدويًا بنجاح لأوّل مرّة في بنية المشفّر التّلقائيّ العميق على الطّيف "الخام" أو ميزات بنك المرشّح الخطيّ في أواخر التسعينيات، [104] مظهرًا تفوّقه على ميزات ميل-سيبسترال التي تحتوي على مراحل تحويل ثابتة من الأطياف. أنتجت الميزات الخام للكلام، الموجات الصوتية، لاحقًا نتائج ممتازةً على نطاق أوسع.[106]

العقد الأول من القرن الحادي والعشرين

عدل

دخلت الشبكات العصبية في حالة ركود، وأصبحت النماذج الأبسط التي تستخدم ميزات يدوية الصنع مخصصةً للمهام مثل مرشحات غابور وآلات متجهات الدعم (SVMs) هي الخيارات المفضلة في التسعينيات والعقد الأول من القرن الحادي والعشرين، بسبب التكلفة الحسابية للشبكات العصبية الاصطناعية ونقص فهم كيفية توصيل الدماغ لشبكاته البيولوجية. [بحاجة لمصدر]

في عام 2003، أصبحت ذاكرة المدى الطويل القصيرة قادرةً على منافسة معرفات الكلام التقليدية في مهام معينة. [107] في عام 2006 جمع أليكس غريفز [الإنجليزية] وسانتياغو فرنانديز وفاوستينو غوميز وشميدهوبر بينها وبين التصنيف الزمني للاتصال (CTC) [108] في مجموعات من ذواكر المدى الطويل القصيرة. [109] في عام 2009، أصبحت أول شبكة عصبية متكررة تفوز في مسابقة التعرف على الأنماط، في التعرف على خط اليد المتصل. تعرف على خط اليد

في عام 2006، تم تطوير شبكة الاعتقاد العميق للنمذجة التوليدية من خلال منشورات لجيفري هينتون ورسلان سالاخوتدينوف وأوسيندرو وته. [110][111] يتم تدريبها عن طريق تدريب آلة بولتزمان المقيدة، ثم تجميدها وتدريب آلة أخرى فوق الأولى، وهكذا، ثم ضبطها اختياريًا باستخدام الانتشار العكسي المراقب.[112] يمكنها نمذجة توزيعات احتمالات عالية الأبعاد، مثل توزيع "صور ذاكرة المدى الطويل القصيرة"، لكن التقارب كان بطيئًا. [113][114][115]

بدأ تأثير التعلم العميق في الصناعة في أوائل العقد الأول من القرن الحادي والعشرين، عندما عالجت الشبكات العصبية التلافيفية بالفعل ما يقدر بـ 10% إلى 20% من جميع الشيكات المكتوبة في الولايات المتحدة، وفقًا ليان ليكون. [116] بدأت التطبيقات الصناعية للتعلم العميق على التعرف على الكلام على نطاق واسع حوالي عام 2010.

كانت ورشة عمل NIPS لعام 2009 حول التعلم العميق للتعرف على الكلام مدفوعةً بقيود النماذج التوليدية العميقة للكلام، واحتمالية أن تصبح الشبكات العصبية العميقة عمليةً بالنظر إلى الأجهزة الأكثر قدرةً ومجموعات البيانات واسعة النطاق. كان يعتقد أن التدريب المسبق للشبكات العصبية العميقة باستخدام نماذج توليدية لشبكات المعتقدات العميقة (DBN) سيتغلب على الصعوبات الرئيسية للشبكات العصبية. ومع ذلك، تم اكتشاف أن استبدال التدريب المسبق بكميات كبيرة من بيانات التدريب للانتشار العكسي المباشر عند استخدام الشبكات العصبية العميقة ذات طبقات الإخراج الكبيرة المعتمدة على السياق أنتج معدلات خطأ أقل بشكل كبير من نموذج خليط غاوسي (GMM) ونموذج ماركوف المخفي (HMM) الأكثر تطورًا، وكذلك من الأنظمة الأكثر تقدمًا القائمة على النموذج التوليدي. [117] كانت طبيعة أخطاء التعرف التي أنتجها النوعان من الأنظمة مختلفةً بشكل كبير، [118] مما يوفر رؤى فنيةً حول كيفية دمج التعلم العميق في نظام فك تشفير الكلام الحالي عالي الكفاءة في وقت التشغيل الذي نشرته جميع أنظمة التعرف على الكلام الرئيسية. [37][119][120]

حفز التحليل في عامي 2009 و2010 - الذي يقارن بين نموذج الخليط ونماذج الكلام التوليدية الأخرى مقابل نماذج الشبكات العصبية العميقة - الاستثمار الصناعي المبكر في التعلم العميق للتعرف على الكلام. [118] تم إجراء هذا التحليل بأداء مقارن (أقل من 1.5% في معدل الخطأ) بين الشبكات العصبية العميقة التمييزية والنماذج التوليدية. [117][118][121] في عام 2010، وسع الباحثون التعلم العميق من TIMIT [الإنجليزية] إلى التعرف على الكلام ذي المفردات الكبيرة، من خلال اعتماد طبقات إخراج كبيرة من الشبكة العصبية العميقة بناءً على حالات نظرية ماركوف المخفية المعتمدة على السياق التي تم إنشاؤها بواسطة أشجار القرار. [122][123][124][119]

ثورة التعلم العميق

عدل

بدأت ثورة التعلم العميق حول رؤية الحاسوب القائمة على الشبكات العصبية التلافيفية (CNN) ووحدات معالجة الرسومات (GPU).

على الرغم من أن الشبكات العصبية التلافيفية المدربة بواسطة الانتشار العكسي كانت موجودةً منذ عقود وتطبيقات وحدات معالجة الرسومات للشبكات العصبية لسنوات، [125] بما في ذلك الشبكات العصبية التلافيفية، [126] كانت هناك حاجة إلى تطبيقات أسرع للشبكات العصبية التلافيفية على وحدات معالجة الرسومات للتقدم في رؤية الحاسوب. في وقت لاحق، مع انتشار التعلم العميق، تم تطوير أجهزة متخصصة وتحسينات للخوارزميات خصيصًا للتعلم العميق. [127]

كان التقدم الرئيسي لثورة التعلم العميق هو التقدم في الأجهزة، وخاصةً وحدات معالجة الرسومات. يعود تاريخ بعض الأعمال المبكرة إلى عام 2004. [125][126] في عام 2009 أفاد راينا ومادهافان وأندرو نج عن شبكة معتقدات عميقة بعمق 100 مليون مدربة على 30 وحدة معالجة رسومات من إنفيديا من فئة (بالإنجليزية: GeForce GTX 280)‏، وهو عرض مبكر للتعلم العميق القائم على وحدة معالجة الرسومات. أفادوا بما يصل إلى 70 مرةً أسرع في التدريب. [128]

في عام 2011، حققت شبكة عصبية تلافيفية تسمى دانت (بالإنجليزية: DanNet)‏ [129][130] بواسطة دان سيريسان ويولي ماير وجوناثان ماسكي ولوكا ماريا غامبارديلا ويورغن شميدهوبر لأول مرة أداءً بشريًا خارقًا في مسابقة التعرف على الأنماط المرئية، متفوقةً على الطرق التقليدية بعامل 3.[23] ثم فازت في المزيد من المسابقات.[131][132] كما أظهروا كيف أدى التجميع الأقصى [الإنجليزية] للشبكات العصبية التلافيفية على وحدة معالجة الرسومات إلى تحسين الأداء بشكل كبير. [131][132]

في عام 2012، أنشأ أندرو نج وجيف دين شبكةً عصبيةً للتغذية الأمامية تعلمت التعرف على مفاهيم ذات مستوىً أعلى، مثل القطط، فقط من مشاهدة الصور غير المعلمة المأخوذة من مقاطع فيديو يوتيوب. [133]

في أكتوبر 2012، فاز ألكسنت بواسطة أليكس كريجفسكي، وإيليا سوتسكيفر، وجيفري هينتون [134] بمسابقة "إيميج نت" بهامش كبير على طرق التعلم الآلي الضحلة. تضمنت التحسينات التزايدية الإضافية شبكة VGG-16 بواسطة كارين سيمونيان وأندرو زيسرمان [135] وشبكة جوجل العصبية انسبشن 3 [الإنجليزية]. [136]

ثم امتد النجاح في تصنيف الصور إلى مهمة إنشاء أوصاف (تسميات) للصور الأكثر تحديًا، غالبًا كمزيج من الشبكات العصبية التلافيفية وذاكرة المدى الطويل القصيرة. [137][138][139]

في عام 2014، كانت حالة الفن هي تدريب "شبكة عصبية عميقة جدًا" مع 20 إلى 30 طبقة. [140] أدى تكديس العديد من الطبقات إلى انخفاض حاد في دقة التدريب، [141] والمعروفة باسم مشكلة "التدهور". [142] في عام 2015 تم تطوير تقنيتين لتدريب الشبكات العميقة جدًا وهما شبكة الطرق السريعة [الإنجليزية] في مايو 2015، والشبكة العصبية المتبقية (ResNet) [143] في ديسمبر 2015.

في نفس الوقت تقريبًا، بدأ التعلم العميق يؤثر على مجال الفن. من بين الأمثلة المبكرة ديب دريم (2015)، والنقل الأسلوبي العصبي [الإنجليزية] (2015)، [144] وكلاهما كان قائمًا على الشبكات العصبية المدربة مسبقًا لتصنيف الصور، مثل VGG-19.

أصبحت الشبكة التوليدية المتنافسة (GAN) بواسطة (إيان جودفيلو وآخرون، 2014) [145] (بناءً على مبدأ الفضول الاصطناعي ليورغن شميدهوبر [88][90]) حالةً فنيةً في النمذجة التوليدية خلال الفترة 2014-2018. تم تحقيق جودة صورة ممتازة بواسطة StyleGAN من إنفيديا (2018) [146] استنادًا إلى شبكة خصومية توليدية بواسطة تيرو كاراس وآخرون. [147] هنا ينمو مولد الشبكة التوليدية المتنافسة من نطاق صغير إلى نطاق كبير بطريقة هرمية. حقق توليد الصور بهذه الشبكة نجاحًا شائعًا، وأثار مناقشات حول التزييف العميق. [148] طغت نماذج الانتشار (2015) [149] على الشبكات التوليدية المتنافسة في النمذجة التوليدية منذ ذلك الحين، مع أنظمة مثل دال-إي 2 (2022) وستيبل ديفيوجن (2022).

في عام 2015، تحسن التعرف على الكلام من غوغل بنسبة 49% بواسطة نموذج قائم على LSTM، وجعلوه متاحًا من خلال بحث غوغل الصوتي على الهواتف الذكية. [150][151]

يعد التعلم العميق جزءًا من أحدث الأنظمة في مختلف التخصصات، وخاصةً الرؤية حاسوبية والتعرف التلقائي على الكلام (ASR). تحسنت النتائج على مجموعات التقييم المستخدمة بشكل شائع مثل TIMIT (التعرف الكلام) وMNIST (رؤية حاسوبية)، بالإضافة إلى مجموعة من مهام التعرف على الكلام ذات المفردات الكبيرة بثباتة. [117][152] تم استبدال الشبكات العصبية التلافيفية بالذاكرة القصيرة المدى المطولة. [151][153][154][155] لكنها أكثر نجاحًا في رؤية الحاسوب.

حصل يوشوا بنجيو، وجيفري هينتون، ويان ليكون على جائزة تورينج لعام 2018 لـ "الإنجازات المفاهيمية والهندسية التي جعلت الشبكات العصبية العميقة مكونًا أساسيًا في الحوسبة." [156]

الشبكات العصبية

عدل
المقالة الرئيسة: شبكة عصبونية اصطناعية

تعد الشبكات العصبية الاصطناعية (ANNs) أو الأنظمة المتصلة أنظمة حوسبة مستوحاةً من الشبكات العصبية البيولوجية التي تشكل أدمغة الحيوانات. تتعلم هذه الأنظمة (تحسن قدرتها تدريجيًا) على أداء المهام من خلال مراعاة الأمثلة، عمومًا دون برمجة مخصصة للمهام. على سبيل المثال، في التعرف على الصور، قد تتعلم تحديد الصور التي تحتوي على قطط من خلال تحليل صور أمثلة تم تصنيفها يدويًا على أنها "قطة" أو "ليست قطة" واستخدام النتائج التحليلية للتعرف على القطط في الصور الأخرى. لقد وجدت معظم استخدامها في التطبيقات التي يصعب التعبير عنها باستخدام خوارزمية حاسوب تقليدية باستخدام البرمجة القائمة على القواعد. [157]

تعتمد الشبكة العصبية الاصطناعية على مجموعة من الوحدات المتصلة تسمى الخلايا العصبية الاصطناعية، (مماثلة للخلايا العصبية البيولوجية في الدماغ البيولوجي). يمكن أن يرسل كل اتصال (مشبك) بين الخلايا العصبية إشارةً إلى خلية عصبية أخرى. يمكن للخلية العصبية المستقبلة (بعد المشبكية) معالجة الإشارة (الإشارات) ثم إرسال إشارة إلى الخلايا العصبية التالية المتصلة بها. قد يكون للخلايا العصبية حالة، يمثلها عمومًا أعداد حقيقية، عادةً ما بين 0 و1. قد يكون للخلايا العصبية والمشابك أيضًا وزن يتغير مع تقدم التعلم، مما قد يزيد أو يقلل من قوة الإشارة التي ترسلها إلى أسفل التيار.[158]

عادةً ما يتم تنظيم الخلايا العصبية في طبقات. قد تجري طبقات مختلفة أنواعًا مختلفةً من التحويلات على مدخلاتها. تنتقل الإشارات من الطبقة الأولى (الإدخال) إلى الطبقة الأخيرة (الإخراج)، ربما بعد اجتياز الطبقات عدة مرات.[159]

كان الهدف الأصلي من نهج الشبكة العصبية هو حل المشكلات بنفس الطريقة التي يعمل بها الدماغ البشري. بمرور الوقت، ركز الاهتمام على مطابقة قدرات عقلية محددة، مما أدى إلى انحرافات عن علم الأحياء مثل الانتشار العكسي أو الانتشار الخلفي، أو تمرير المعلومات في الاتجاه المعاكس وتعديل الشبكة لتعكس تلك المعلومات.[160]

تم استخدام الشبكات العصبية في مجموعة متنوعة من المهام، بما في ذلك رؤية الحاسوب والتعرف على الكلام، والترجمة الآلية، وتصفية الشبكات الاجتماعية، ولعب ألعاب الطاولة، وألعاب الفيديو، والتشخيص الطبي.[161][162]

اعتبارًا من عام 2017، تحتوي الشبكات العصبية عادةً على عدد قليل من الآلاف إلى عدد قليل من ملايين الوحدات وملايين الاتصالات. على الرغم من أن هذا العدد أقل بعدة مراتب من عدد الخلايا العصبية في الدماغ البشري، فإن هذه الشبكات يمكنها أداء العديد من المهام على مستوىً يتجاوز مستوى البشر (على سبيل المثال، التعرف على الوجوه، أو لعب "غو"). [163]

الشبكات العصبية العميقة

عدل

التحديات

عدل

الأجهزة

عدل

التطبيقات

عدل

وتم استعمال هيكليات تعلمية، مثل الشبكات العصبية المتعمقة، الشبكات العصبية الالتفافية، وشبكات الايمان المتعمقة، في تطبيقات مثل الرؤية الحاسوبية، التعرف على الكلام، ومعالجة اللغات الطبيعية.

التعرف التلقائي على الكلام

عدل
المقالة الرئيسة: تعرف الكلام

التعرف على الصور

عدل
المقالة الرئيسة: رؤية حاسوبية
يشرح ريتشارد جرين كيفية استخدام التعلم العميق مع مركبة تعمل عن بُعد تحت الماء في تربية بلح البحر

معالجة الفنون البصرية

عدل
 
معالجة الفنون البصرية لجيمي ويلز في فرنسا، مع تطبيق أسلوب لوحة "الصرخة" لمونش باستخدام نقل الأسلوب العصبي

معالجة اللغة الطبيعية

عدل
المقالة الرئيسة: معالجة اللغة الطبيعية

اكتشاف الأدوية والسموم

عدل

إدارة علاقات العملاء

عدل
المقالة الرئيسة: إدارة علاقات العملاء

أنظمة التوصية

عدل
المقالة الرئيسة: نظام التوصية

المعلوماتية الحيوية

عدل
المقالة الرئيسة: معلوماتية حيوية

تقديرات الشبكة العصبية العميقة

عدل

تحليل الصور الطبية

عدل

الإعلان عبر الهاتف المحمول

عدل

استعادة الصور

عدل

الكشف عن الاحتيال المالي

عدل

علم المواد

عدل

الجيش

عدل

المعادلات التفاضلية الجزئية

عدل

طريقة المعادلة التفاضلية العشوائية العميقة للخلف

عدل

إعادة بناء الصور

عدل

التنبؤ بالطقس

عدل

الساعة فوق الجينية

عدل
المقالة الرئيسة: الساعه الفوق جينية

العلاقة بالتنمية المعرفية وتطور الدماغ البشري

عدل

النشاط التجاري

عدل

الانتقادات والتعليقات

عدل

النظرية

عدل

الأخطاء

عدل

التهديد السيبراني

عدل

أخلاقيات جمع البيانات

عدل

انظر أيضًا

عدل

مواقع خارجية

عدل

مجموعات ابحاث

عدل

نماذج للتعلم المتعمق

عدل

مواقع تدريب

عدل
  • المدرسة الصيفية للتعلم المتعمق - مجموعة أفلام تدريبية - جامعة مونتريال 2015.
  • جيل جديد من الشبكيات العصبية - فيديو يوتيوب عن طريق جوجل تولك - ديسمبر 2007.

مراجع

عدل
  1. ^ معجم البيانات والذكاء الاصطناعي (PDF) (بالعربية والإنجليزية)، الهيئة السعودية للبيانات والذكاء الاصطناعي، 2022، ص. 62، QID:Q111421033
  2. ^ "موقع ديب ليرننغ الرسمي". مؤرشف من الأصل في 2017-12-13. اطلع عليه بتاريخ 2024-10-08.
  3. ^ "Online". مؤرشف من الأصل في 2018-01-27. اطلع عليه بتاريخ 2024-10-08.
  4. ^ Deng، L.؛ Yu، D. (2014). "Deep Learning: Methods and Applications" (PDF). Foundations and Trends in Signal Processing. ج. 7 ع. 3–4: 1–199. DOI:10.1561/2000000039. مؤرشف من الأصل (pdf) في 2016-03-14. اطلع عليه بتاريخ 2024-10-08.
  5. ^ Bengio، Yoshua (2009). "Learning Deep Architectures for AI" (PDF). Foundations and Trends in Machine Learning. ج. 2 ع. 1: 1–127. DOI:10.1561/2200000006. مؤرشف من الأصل (pdf) في 2016-03-04. اطلع عليه بتاريخ 2024-10-08.
  6. ^ ا ب ج د Bengio، Y.؛ Courville، A.؛ Vincent، P. (2013). "Representation Learning: A Review and New Perspectives". IEEE Transactions on Pattern Analysis and Machine Intelligence. ج. 35 ع. 8: 1798–1828. arXiv:1206.5538. DOI:10.1109/tpami.2013.50. مؤرشف من الأصل في 2024-09-17. اطلع عليه بتاريخ 2024-10-08.
  7. ^ Schmidhuber، J. (2015). "Deep Learning in Neural Networks: An Overview". Neural Networks. ج. 61: 85–117. arXiv:1404.7828. DOI:10.1016/j.neunet.2014.09.003. مؤرشف من الأصل في 2024-09-27. اطلع عليه بتاريخ 2024-10-08.
  8. ^ Bengio، Yoshua؛ LeCun، Yann؛ Hinton، Geoffrey (2015). "Deep Learning". Nature. ج. 521: 436–444. DOI:10.1038/nature14539. اطلع عليه بتاريخ 2024-10-08.
  9. ^ Deep Machine Learning – A New Frontier in Artificial Intelligence Research – a survey paper by Itamar Arel, Derek C. Rose, and Thomas P. Karnowski. IEEE Computational Intelligence Magazine, 2013
  10. ^ Schmidhuber، Jürgen (2015). "Deep Learning". Scholarpedia. ج. 10 ع. 11: 32832. DOI:10.4249/scholarpedia.32832. مؤرشف من الأصل في 2019-05-24. اطلع عليه بتاريخ 2024-10-08.{{استشهاد بدورية محكمة}}: صيانة الاستشهاد: دوي مجاني غير معلم (link)
  11. ^ Carlos E. Perez. "A Pattern Language for Deep Learning". مؤرشف من الأصل في 2017-06-03. اطلع عليه بتاريخ 2024-10-08.
  12. ^ LeCun، Yann؛ Bengio، Yoshua؛ Hinton، Geoffrey (2015). "Deep Learning" (PDF). Nature. ج. 521 ع. 7553: 436–444. Bibcode:2015Natur.521..436L. DOI:10.1038/nature14539. PMID:26017442. S2CID:3074096. مؤرشف من الأصل (pdf) في 2024-09-17. اطلع عليه بتاريخ 2024-10-08.
  13. ^ Ciresan، D.؛ Meier، U.؛ Schmidhuber، J. (2012). "Multi-column deep neural networks for image classification". 2012 IEEE Conference on Computer Vision and Pattern Recognition. ص. 3642–3649. arXiv:1202.2745. DOI:10.1109/cvpr.2012.6248110. ISBN:978-1-4673-1228-8. S2CID:2161592. مؤرشف من الأصل في 2024-09-14. اطلع عليه بتاريخ 2024-10-08.
  14. ^ Krizhevsky، Alex؛ Sutskever، Ilya؛ Hinton، Geoffrey (2012). "ImageNet Classification with Deep Convolutional Neural Networks" (pdf). NIPS 2012: Neural Information Processing Systems, Lake Tahoe, Nevada. مؤرشف (PDF) من الأصل في 2017-01-10. اطلع عليه بتاريخ 2017-05-24.
  15. ^ "Google's AlphaGo AI wins three-match series against the world's best Go player". TechCrunch. 25 مايو 2017. مؤرشف من الأصل في 2018-06-17. اطلع عليه بتاريخ 2018-06-17.
  16. ^ "Study urges caution when comparing neural networks to the brain". MIT News | Massachusetts Institute of Technology (بالإنجليزية). 02 Nov 2022. Archived from the original on 2024-09-17. Retrieved 2023-12-06.
  17. ^ Glauner، P. (2015). Deep Convolutional Neural Networks for Smile Recognition (MSc Thesis). كلية لندن الإمبراطورية, Department of Computing. arXiv:1508.06535.
  18. ^ Song، H.A.؛ Lee، S. Y. (2013). "Hierarchical Representation Using NMF". Neural Information Processing. Lectures Notes in Computer Sciences. سبرنجر. ج. 8226. ص. 466–473. DOI:10.1007/978-3-642-42054-2_58. ISBN:978-3-642-42053-5. اطلع عليه بتاريخ 2024-10-08.
  19. ^ Olshausen، B. A. (1996). "Emergence of simple-cell receptive field properties by learning a sparse code for natural images". Nature. ج. 381 ع. 6583: 607–609. DOI:10.1038/381607a0. مؤرشف من الأصل في 2023-02-09. اطلع عليه بتاريخ 2024-10-08.
  20. ^ ا ب Bengio، Yoshua (2009). "Learning Deep Architectures for AI" (PDF). Foundations and Trends in Machine Learning. ج. 2 ع. 1: 1–127. CiteSeerX:10.1.1.701.9550. DOI:10.1561/2200000006. S2CID:207178999. مؤرشف من الأصل (pdf) في 2016-03-04. اطلع عليه بتاريخ 2015-09-03.
  21. ^ ا ب Bengio، Y.؛ Courville، A.؛ Vincent، P. (2013). "Representation Learning: A Review and New Perspectives". IEEE Transactions on Pattern Analysis and Machine Intelligence. ج. 35 ع. 8: 1798–1828. arXiv:1206.5538. DOI:10.1109/tpami.2013.50. PMID:23787338. S2CID:393948. مؤرشف من الأصل في 2024-09-17. اطلع عليه بتاريخ 2024-10-08.
  22. ^ LeCun، Yann؛ Bengio، Yoshua؛ Hinton، Geoffrey (2015). "Deep Learning" (PDF). Nature. ج. 521 ع. 7553: 436–444. Bibcode:2015Natur.521..436L. DOI:10.1038/nature14539. PMID:26017442. S2CID:3074096. مؤرشف من الأصل (pdf) في 2024-09-17. اطلع عليه بتاريخ 2024-10-08.
  23. ^ ا ب ج د ه Schmidhuber، J. (2015). "Deep Learning in Neural Networks: An Overview". Neural Networks. ج. 61: 85–117. arXiv:1404.7828. DOI:10.1016/j.neunet.2014.09.003. PMID:25462637. S2CID:11715509. مؤرشف من الأصل في 2024-09-27. اطلع عليه بتاريخ 2024-10-08.
  24. ^ Shigeki, Sugiyama (12 Apr 2019). Human Behavior and Another Kind in Consciousness: Emerging Research and Opportunities: Emerging Research and Opportunities (بالإنجليزية). IGI Global. ISBN:978-1-5225-8218-2. Archived from the original on 2024-04-03. Retrieved 2024-10-08.
  25. ^ Bengio، Yoshua؛ Lamblin، Pascal؛ Popovici، Dan؛ Larochelle، Hugo (2007). "Greedy layer-wise training of deep networks" (pdf). Advances in neural information processing systems. Advances in Neural Information Processing Systems. ص. 153–160. مؤرشف (PDF) من الأصل في 2019-10-20. اطلع عليه بتاريخ 2019-10-06.
  26. ^ ا ب Hinton، G.E. (2009). "Deep belief networks". Scholarpedia. ج. 4 ع. 5: 5947. Bibcode:2009SchpJ...4.5947H. DOI:10.4249/scholarpedia.5947. مؤرشف من الأصل في 2024-08-17. اطلع عليه بتاريخ 2024-10-08.
  27. ^ "Online". Preprint. مؤرشف من الأصل في 2016-04-19. اطلع عليه بتاريخ 2024-10-08.
  28. ^ Aizenberg, I.N.؛ Aizenberg, N.N.؛ Vandewalle, J. (2000). Multi-Valued and Universal Binary Neurons. Science & Business Media. DOI:10.1007/978-1-4757-3115-6. ISBN:978-0-7923-7824-2. مؤرشف من الأصل في 2023-12-27. اطلع عليه بتاريخ 2023-12-27.
  29. ^ Co-evolving recurrent neurons learn deep memory POMDPs. Proc. GECCO, Washington, D. C., pp. 1795–1802, ACM Press, New York, NY, USA, 2005.
  30. ^ Fradkov، Alexander L. (01 يناير 2020). "Early History of Machine Learning". IFAC-PapersOnLine. 21st IFAC World Congress. ج. 53 ع. 2: 1385–1390. DOI:10.1016/j.ifacol.2020.12.1888. ISSN:2405-8963. S2CID:235081987. مؤرشف من الأصل في 2024-04-13. اطلع عليه بتاريخ 2024-10-08.
  31. ^ ا ب ج Cybenko (1989). "Approximations by superpositions of sigmoidal functions" (PDF). Mathematics of Control, Signals, and Systems. ج. 2 ع. 4: 303–314. Bibcode:1989MCSS....2..303C. DOI:10.1007/bf02551274. S2CID:3958369. مؤرشف من الأصل (pdf) في 2015-10-10. اطلع عليه بتاريخ 2024-10-08.
  32. ^ ا ب ج Hornik، Kurt (1991). "Approximation Capabilities of Multilayer Feedforward Networks". Neural Networks. ج. 4 ع. 2: 251–257. DOI:10.1016/0893-6080(91)90009-t. S2CID:7343126. مؤرشف من الأصل في 2024-09-29. اطلع عليه بتاريخ 2024-10-08.
  33. ^ ا ب Haykin، Simon S. (1999). Neural Networks: A Comprehensive Foundation. Prentice Hall. ISBN:978-0-13-273350-2. مؤرشف من الأصل في 2023-12-16. اطلع عليه بتاريخ 2024-10-08.
  34. ^ ا ب Hassoun، Mohamad H. (1995). Fundamentals of Artificial Neural Networks. MIT Press. ص. 48. ISBN:978-0-262-08239-6. مؤرشف من الأصل في 2018-06-15. اطلع عليه بتاريخ 2024-10-08.
  35. ^ ا ب "The Expressive Power of Neural Networks: A View from the Width". Advances in Neural Information Processing Systems. مؤرشف من الأصل في 2019-02-13. اطلع عليه بتاريخ 2024-10-08.
  36. ^ Orhan، A. E.؛ Ma، W. J. (2017). "Efficient probabilistic inference in generic neural networks trained with non-probabilistic feedback". Nature Communications. ج. 8 ع. 1: 138. Bibcode:2017NatCo...8..138O. DOI:10.1038/s41467-017-00181-8. PMC:5527101. PMID:28743932. مؤرشف من الأصل في 2024-07-11. اطلع عليه بتاريخ 2024-10-08.
  37. ^ ا ب ج Deng، L.؛ Yu، D. (2014). "Deep Learning: Methods and Applications" (pdf). Foundations and Trends in Signal Processing. ج. 7 ع. 3–4: 1–199. DOI:10.1561/2000000039. مؤرشف (PDF) من الأصل في 2016-03-14. اطلع عليه بتاريخ 2014-10-18.
  38. ^ ا ب ج د Murphy، Kevin P. (24 أغسطس 2012). Machine Learning: A Probabilistic Perspective. MIT Press. ISBN:978-0-262-01802-9. مؤرشف من الأصل في 2024-01-17. اطلع عليه بتاريخ 2024-10-08.
  39. ^ ا ب Fukushima، K. (1969). "Visual feature extraction by a multilayered network of analog threshold elements". IEEE Transactions on Systems Science and Cybernetics. ج. 5 ع. 4: 322–333. DOI:10.1109/TSSC.1969.300225. مؤرشف من الأصل في 2024-09-03. اطلع عليه بتاريخ 2024-10-08.
  40. ^ Sonoda، Sho؛ Murata، Noboru (2017). "Neural network with unbounded activation functions is universal approximator". Applied and Computational Harmonic Analysis. ج. 43 ع. 2: 233–268. arXiv:1505.03654. DOI:10.1016/j.acha.2015.12.005. S2CID:12149203. مؤرشف من الأصل في 2024-06-11. اطلع عليه بتاريخ 2024-10-08.
  41. ^ Bishop, Christopher M. (2006). Pattern Recognition and Machine Learning (pdf). Springer. ISBN:978-0-387-31073-2. مؤرشف (PDF) من الأصل في 2017-01-11. اطلع عليه بتاريخ 2017-08-06.
  42. ^ ا ب "bibliotheca Augustana". www.hs-augsburg.de. مؤرشف من الأصل في 2024-09-15. اطلع عليه بتاريخ 2024-10-08.
  43. ^ Brush، Stephen G. (1967). "History of the Lenz-Ising Model". Reviews of Modern Physics. ج. 39 ع. 4: 883–893. Bibcode:1967RvMP...39..883B. DOI:10.1103/RevModPhys.39.883. مؤرشف من الأصل في 2024-09-07. اطلع عليه بتاريخ 2024-10-08.
  44. ^ ا ب Amari، Shun-Ichi (1972). "Learning patterns and pattern sequences by self-organizing nets of threshold elements". IEEE Transactions. ج. C ع. 21: 1197–1206.
  45. ^ ا ب ج د ه و ز Schmidhuber، Jürgen (2022). "Annotated History of Modern AI and Deep Learning". arXiv:2212.11279 [cs.NE]. {{استشهاد بأرخايف}}: الوسيط |arxiv= مطلوب (مساعدة)
  46. ^ Hopfield، J. J. (1982). "Neural networks and physical systems with emergent collective computational abilities". Proceedings of the National Academy of Sciences. ج. 79 ع. 8: 2554–2558. Bibcode:1982PNAS...79.2554H. DOI:10.1073/pnas.79.8.2554. PMC:346238. PMID:6953413. مؤرشف من الأصل في 2024-10-03. اطلع عليه بتاريخ 2024-10-08.
  47. ^ Nakano، Kaoru (1971). "Learning Process in a Model of Associative Memory". Pattern Recognition and Machine Learning. ص. 172–186. DOI:10.1007/978-1-4615-7566-5_15. ISBN:978-1-4615-7568-9. مؤرشف من الأصل في 2024-09-15. اطلع عليه بتاريخ 2024-10-08.
  48. ^ Nakano، Kaoru (1972). "Associatron-A Model of Associative Memory". IEEE Transactions on Systems, Man, and Cybernetics. SMC-2 ع. 3: 380–388. DOI:10.1109/TSMC.1972.4309133. مؤرشف من الأصل في 2024-09-15. اطلع عليه بتاريخ 2024-10-08.
  49. ^ Turing، Alan (1948). "Intelligent Machinery". Unpublished (Later Published in Ince DC, Editor, Collected Works of AM Turing—Mechanical Intelligence, Elsevier Science Publishers, 1992).
  50. ^ Rosenblatt, F. (1958). "The perceptron: A probabilistic model for information storage and organization in the brain". Psychological Review (بالإنجليزية). 65 (6): 386–408. DOI:10.1037/h0042519. ISSN:1939-1471. PMID:13602029. Archived from the original on 2024-09-15. Retrieved 2024-10-08.
  51. ^ ا ب Rosenblatt، Frank (1962). Principles of Neurodynamics. Spartan, New York.
  52. ^ Joseph، R. D. (1960). Contributions to Perceptron Theory, Cornell Aeronautical Laboratory Report No. VG-11 96--G-7, Buffalo.
  53. ^ Ivakhnenko، A. G.؛ Lapa، V. G. (1967). Cybernetics and Forecasting Techniques. American Elsevier Publishing Co. ISBN:978-0-444-00020-0. مؤرشف من الأصل في 2024-04-23. اطلع عليه بتاريخ 2024-10-08.
  54. ^ Ivakhnenko, A.G. (Mar 1970). "Heuristic self-organization in problems of engineering cybernetics". Automatica (بالإنجليزية). 6 (2): 207–219. DOI:10.1016/0005-1098(70)90092-0. Archived from the original on 2024-08-12. Retrieved 2024-10-08.
  55. ^ Ivakhnenko، Alexey (1971). "Polynomial theory of complex systems" (pdf). IEEE Transactions on Systems, Man, and Cybernetics. SMC-1 ع. 4: 364–378. DOI:10.1109/TSMC.1971.4308320. مؤرشف (PDF) من الأصل في 2017-08-29. اطلع عليه بتاريخ 2019-11-05.
  56. ^ Robbins، H.؛ Monro، S. (1951). "A Stochastic Approximation Method". The Annals of Mathematical Statistics. ج. 22 ع. 3: 400. DOI:10.1214/aoms/1177729586. مؤرشف من الأصل في 2024-09-27. اطلع عليه بتاريخ 2024-10-08.
  57. ^ Amari، Shun'ichi (1967). "A theory of adaptive pattern classifier". IEEE Transactions. ج. EC ع. 16: 279–307.
  58. ^ Ramachandran، Prajit؛ Barret، Zoph؛ Quoc، V. Le (16 أكتوبر 2017). "Searching for Activation Functions". arXiv:1710.05941 [cs.NE]. {{استشهاد بأرخايف}}: الوسيط |arxiv= مطلوب (مساعدة)
  59. ^ Fukushima، K. (1979). "Neural network model for a mechanism of pattern recognition unaffected by shift in position—Neocognitron". Trans. IECE (In Japanese). J62-A ع. 10: 658–665. DOI:10.1007/bf00344251. PMID:7370364. S2CID:206775608. مؤرشف من الأصل في 2024-10-03. اطلع عليه بتاريخ 2024-10-08.
  60. ^ Fukushima، K. (1980). "Neocognitron: A self-organizing neural network model for a mechanism of pattern recognition unaffected by shift in position". Biol. Cybern. ج. 36 ع. 4: 193–202. DOI:10.1007/bf00344251. PMID:7370364. S2CID:206775608. مؤرشف من الأصل في 2024-10-03. اطلع عليه بتاريخ 2024-10-08.
  61. ^ Leibniz, Gottfried Wilhelm Freiherr von (1920). The Early Mathematical Manuscripts of Leibniz: Translated from the Latin Texts Published by Carl Immanuel Gerhardt with Critical and Historical Notes (Leibniz published the chain rule in a 1676 memoir) (بالإنجليزية). Open court publishing Company. ISBN:9780598818461. Archived from the original on 2024-06-24. Retrieved 2024-10-08.
  62. ^ Kelley، Henry J. (1960). "Gradient theory of optimal flight paths". ARS Journal. ج. 30 ع. 10: 947–954. DOI:10.2514/8.5282. مؤرشف من الأصل في 2024-10-01. اطلع عليه بتاريخ 2024-10-08.
  63. ^ Linnainmaa, Seppo (1970). The representation of the cumulative rounding error of an algorithm as a Taylor expansion of the local rounding errors (Masters) (بالفنلندية). University of Helsinki. p. 6–7.
  64. ^ Linnainmaa، Seppo (1976). "Taylor expansion of the accumulated rounding error". BIT Numerical Mathematics. ج. 16 ع. 2: 146–160. DOI:10.1007/bf01931367. S2CID:122357351. مؤرشف من الأصل في 2024-08-15. اطلع عليه بتاريخ 2024-10-08.
  65. ^ Ostrovski, G.M., Volin,Y.M., and Boris, W.W. (1971). On the computation of derivatives. Wiss. Z. Tech. Hochschule for Chemistry, 13:382–384.
  66. ^ ا ب Schmidhuber، Juergen (25 أكتوبر 2014). "Who Invented Backpropagation?". TR FKI-148, TU Munich. IDSIA, Switzerland. مؤرشف من الأصل في 2024-07-30. اطلع عليه بتاريخ 2024-09-14.
  67. ^ Werbos، Paul (1982). "Applications of advances in nonlinear sensitivity analysis" (PDF). System modeling and optimization. Springer. ص. 762–770. مؤرشف (PDF) من الأصل في 2016-04-14.
  68. ^ Werbos، Paul J. (1994). The Roots of Backpropagation : From Ordered Derivatives to Neural Networks and Political Forecasting. New York: John Wiley & Sons. ISBN:0-471-59897-6.
  69. ^ Rumelhart, David E.; Hinton, Geoffrey E.; Williams, Ronald J. (Oct 1986). "Learning representations by back-propagating errors". Nature (بالإنجليزية). 323 (6088): 533–536. Bibcode:1986Natur.323..533R. DOI:10.1038/323533a0. ISSN:1476-4687. Archived from the original on 2023-10-17. Retrieved 2024-10-08.
  70. ^ "Learning Internal Representations by Error Propagation" (PDF). مؤرشف من الأصل (pdf) في 2022-10-13. اطلع عليه بتاريخ 2024-10-08.
  71. ^ Waibel، Alex (ديسمبر 1987). "Phoneme Recognition Using Time-Delay Neural Networks" (PDF). Meeting of the Institute of Electrical, Information and Communication Engineers (IEICE). Tokyo, Japan. مؤرشف من الأصل (pdf) في 2024-09-17. اطلع عليه بتاريخ 2024-10-08.
  72. ^ Alexander Waibel et al., Phoneme Recognition Using Time-Delay Neural Networks IEEE Transactions on Acoustics, Speech, and Signal Processing, Volume 37, No. 3, pp. 328. – 339 March 1989.
  73. ^ Zhang، Wei (1988). "Shift-invariant pattern recognition neural network and its optical architecture". Proceedings of Annual Conference of the Japan Society of Applied Physics. مؤرشف من الأصل في 2024-06-19. اطلع عليه بتاريخ 2024-10-08.
  74. ^ LeCun et al., "Backpropagation Applied to Handwritten Zip Code Recognition", Neural Computation, 1, pp. 541–551, 1989.
  75. ^ Zhang، Wei (1990). "Parallel distributed processing model with local space-invariant interconnections and its optical architecture". Applied Optics. ج. 29 ع. 32: 4790–7. Bibcode:1990ApOpt..29.4790Z. DOI:10.1364/AO.29.004790. PMID:20577468. مؤرشف من الأصل في 2024-04-16. اطلع عليه بتاريخ 2024-10-08.
  76. ^ Zhang، Wei (1991). "Image processing of human corneal endothelium based on a learning network". Applied Optics. ج. 30 ع. 29: 4211–7. Bibcode:1991ApOpt..30.4211Z. DOI:10.1364/AO.30.004211. PMID:20706526. مؤرشف من الأصل في 2024-06-19. اطلع عليه بتاريخ 2024-10-08.
  77. ^ Zhang، Wei (1994). "Computerized detection of clustered microcalcifications in digital mammograms using a shift-invariant artificial neural network". Medical Physics. ج. 21 ع. 4: 517–24. Bibcode:1994MedPh..21..517Z. DOI:10.1118/1.597177. PMID:8058017. مؤرشف من الأصل في 2024-06-20. اطلع عليه بتاريخ 2024-10-08.
  78. ^ LeCun، Yann؛ Léon Bottou؛ Yoshua Bengio؛ Patrick Haffner (1998). "Gradient-based learning applied to document recognition" (PDF). Proceedings of the IEEE. ج. 86 ع. 11: 2278–2324. CiteSeerX:10.1.1.32.9552. DOI:10.1109/5.726791. S2CID:14542261. مؤرشف من الأصل (pdf) في 2024-10-02. اطلع عليه بتاريخ 2016-10-07.
  79. ^ Jordan, Michael I. (1986). "Attractor dynamics and parallelism in a connectionist sequential machine". Proceedings of the Annual Meeting of the Cognitive Science Society (بالإنجليزية). 8. Archived from the original on 2024-08-07. Retrieved 2024-10-08.
  80. ^ Elman, Jeffrey L. (Mar 1990). "Finding Structure in Time". Cognitive Science (بالإنجليزية). 14 (2): 179–211. DOI:10.1207/s15516709cog1402_1. ISSN:0364-0213. Archived from the original on 2024-09-26. Retrieved 2024-10-08.
  81. ^ ا ب ج Schmidhuber، Jürgen (أبريل 1991). "Neural Sequence Chunkers" (PDF). TR FKI-148, TU Munich. مؤرشف من الأصل (pdf) في 2024-09-14. اطلع عليه بتاريخ 2024-10-08.
  82. ^ ا ب Schmidhuber، Jürgen (1992). "Learning complex, extended sequences using the principle of history compression (based on TR FKI-148, 1991)" (PDF). Neural Computation. ج. 4 ع. 2: 234–242. DOI:10.1162/neco.1992.4.2.234. S2CID:18271205. مؤرشف من الأصل (pdf) في 2024-09-14. اطلع عليه بتاريخ 2024-10-08.
  83. ^ Schmidhuber، Jürgen (1993). Habilitation thesis: System modeling and optimization (PDF). مؤرشف من الأصل (pdf) في 2024-08-07. اطلع عليه بتاريخ 2024-10-08.[وصلة مكسورة] Page 150 ff demonstrates credit assignment across the equivalent of 1,200 layers in an unfolded RNN.
  84. ^ ا ب "Untersuchungen zu dynamischen neuronalen Netzen" (PDF). TR FKI-148, TU Munich. مؤرشف من الأصل (pdf) في 2015-03-06. اطلع عليه بتاريخ 2024-10-08.
  85. ^ Hochreiter، S.؛ وآخرون (15 يناير 2001). "Gradient flow in recurrent nets: the difficulty of learning long-term dependencies". في Kolen، John F.؛ Kremer، Stefan C. (المحررون). A Field Guide to Dynamical Recurrent Networks. John Wiley & Sons. ISBN:978-0-7803-5369-5.
  86. ^ Sepp Hochreiter; Jürgen Schmidhuber (21 Aug 1995), Long Short Term Memory (بالإنجليزية), QID:Q98967430
  87. ^ Gers، Felix؛ Schmidhuber، Jürgen؛ Cummins، Fred (1999). "Learning to forget: Continual prediction with LSTM". 9th International Conference on Artificial Neural Networks: ICANN '99. ج. 1999. ص. 850–855. DOI:10.1049/cp:19991218. ISBN:0-85296-721-7. مؤرشف من الأصل في 2024-09-07. اطلع عليه بتاريخ 2024-10-08.
  88. ^ ا ب Schmidhuber، Jürgen (1991). "A possibility for implementing curiosity and boredom in model-building neural controllers". Proc. SAB'1991. MIT Press/Bradford Books. ص. 222–227.
  89. ^ Schmidhuber، Jürgen (2010). "Formal Theory of Creativity, Fun, and Intrinsic Motivation (1990-2010)". IEEE Transactions on Autonomous Mental Development. ج. 2 ع. 3: 230–247. DOI:10.1109/TAMD.2010.2056368. S2CID:234198. مؤرشف من الأصل في 2024-09-26. اطلع عليه بتاريخ 2024-10-08.
  90. ^ ا ب Schmidhuber, Jürgen (2020). "Generative Adversarial Networks are Special Cases of Artificial Curiosity (1990) and also Closely Related to Predictability Minimization (1991)". Neural Networks (بالإنجليزية). 127: 58–66. arXiv:1906.04493. DOI:10.1016/j.neunet.2020.04.008. PMID:32334341. S2CID:216056336. Archived from the original on 2024-06-10. Retrieved 2024-10-08.
  91. ^ Ackley، David H.؛ Hinton، Geoffrey E.؛ Sejnowski، Terrence J. (01 يناير 1985). "A learning algorithm for boltzmann machines". Cognitive Science. ج. 9 ع. 1: 147–169. DOI:10.1016/S0364-0213(85)80012-4 (غير نشط 7 أغسطس 2024). ISSN:0364-0213. مؤرشف من الأصل في 2024-09-17. اطلع عليه بتاريخ 2024-10-08.{{استشهاد بدورية محكمة}}: صيانة الاستشهاد: وصلة دوي غير نشطة منذ 2024 (link)
  92. ^ Smolensky، Paul (1986). "Chapter 6: Information Processing in Dynamical Systems: Foundations of Harmony Theory" (PDF). في Rumelhart، David E.؛ McLelland، James L. (المحررون). Parallel Distributed Processing: Explorations in the Microstructure of Cognition, Volume 1: Foundations. MIT Press. ص. 194–281. ISBN:0-262-68053-X.
  93. ^ Peter، Dayan؛ Hinton، Geoffrey E.؛ Neal، Radford M.؛ Zemel، Richard S. (1995). "The Helmholtz machine". Neural Computation. ج. 7 ع. 5: 889–904. DOI:10.1162/neco.1995.7.5.889. hdl:21.11116/0000-0002-D6D3-E. PMID:7584891. S2CID:1890561. مؤرشف من الأصل في 2024-09-28. اطلع عليه بتاريخ 2024-10-08.  
  94. ^ Hinton، Geoffrey E.؛ Dayan، Peter؛ Frey، Brendan J.؛ Neal، Radford (26 مايو 1995). "The wake-sleep algorithm for unsupervised neural networks". Science. ج. 268 ع. 5214: 1158–1161. Bibcode:1995Sci...268.1158H. DOI:10.1126/science.7761831. PMID:7761831. S2CID:871473. مؤرشف من الأصل في 2024-10-03. اطلع عليه بتاريخ 2024-10-08.
  95. ^ Sejnowski، Terrence J. (2018). The deep learning revolution. Cambridge, Massachusetts: The MIT Press. ISBN:978-0-262-03803-4.
  96. ^ Qian، Ning؛ Sejnowski، Terrence J. (20 أغسطس 1988). "Predicting the secondary structure of globular proteins using neural network models". Journal of Molecular Biology. ج. 202 ع. 4: 865–884. DOI:10.1016/0022-2836(88)90564-5. ISSN:0022-2836. PMID:3172241. مؤرشف من الأصل في 2022-01-24. اطلع عليه بتاريخ 2024-10-08.
  97. ^ Morgan، Nelson؛ Bourlard، Hervé؛ Renals، Steve؛ Cohen، Michael؛ Franco، Horacio (1 أغسطس 1993). "Hybrid neural network/hidden markov model systems for continuous speech recognition". International Journal of Pattern Recognition and Artificial Intelligence. ج. 07 ع. 4: 899–916. DOI:10.1142/s0218001493000455. ISSN:0218-0014. مؤرشف من الأصل في 2024-06-15. اطلع عليه بتاريخ 2024-10-08.
  98. ^ Robinson، T. (1992). "A real-time recurrent error propagation network word recognition system". ICASSP. Icassp'92: 617–620. ISBN:9780780305328. مؤرشف من الأصل في 2021-05-09. اطلع عليه بتاريخ 2017-06-12.
  99. ^ Waibel، A.؛ Hanazawa، T.؛ Hinton، G.؛ Shikano، K.؛ Lang، K. J. (مارس 1989). "Phoneme recognition using time-delay neural networks" (pdf). IEEE Transactions on Acoustics, Speech, and Signal Processing. ج. 37 ع. 3: 328–339. DOI:10.1109/29.21701. hdl:10338.dmlcz/135496. ISSN:0096-3518. S2CID:9563026. مؤرشف (PDF) من الأصل في 2021-04-27. اطلع عليه بتاريخ 2019-09-24.
  100. ^ Baker، J.؛ Deng، Li؛ Glass، Jim؛ Khudanpur، S.؛ Lee، C.-H.؛ Morgan، N.؛ O'Shaughnessy، D. (2009). "Research Developments and Directions in Speech Recognition and Understanding, Part 1". IEEE Signal Processing Magazine. ج. 26 ع. 3: 75–80. Bibcode:2009ISPM...26...75B. DOI:10.1109/msp.2009.932166. hdl:1721.1/51891. S2CID:357467. مؤرشف من الأصل في 2024-08-15. اطلع عليه بتاريخ 2024-10-08.
  101. ^ Bengio، Y. (1991). "Artificial Neural Networks and their Application to Speech/Sequence Recognition". Preprint. McGill University Ph.D. thesis. مؤرشف من الأصل في 2021-05-09. اطلع عليه بتاريخ 2017-06-12.
  102. ^ Deng، L.؛ Hassanein، K.؛ Elmasry، M. (1994). "Analysis of correlation structure for a neural predictive model with applications to speech recognition". Neural Networks. ج. 7 ع. 2: 331–339. DOI:10.1016/0893-6080(94)90027-2. مؤرشف من الأصل في 2024-06-11. اطلع عليه بتاريخ 2024-10-08.
  103. ^ Doddington، G.؛ Przybocki، M.؛ Martin، A.؛ Reynolds، D. (2000). "The NIST speaker recognition evaluation ± Overview, methodology, systems, results, perspective". Speech Communication. ج. 31 ع. 2: 225–254. DOI:10.1016/S0167-6393(99)00080-1. مؤرشف من الأصل في 2024-06-06. اطلع عليه بتاريخ 2024-10-08.
  104. ^ ا ب Heck، L.؛ Konig، Y.؛ Sonmez، M.؛ Weintraub، M. (2000). "Robustness to Telephone Handset Distortion in Speaker Recognition by Discriminative Feature Design". Speech Communication. ج. 31 ع. 2: 181–192. DOI:10.1016/s0167-6393(99)00077-1. مؤرشف من الأصل في 2024-07-21. اطلع عليه بتاريخ 2024-10-08.
  105. ^ L.P Heck and R. Teunen. "Secure and Convenient Transactions with Nuance Verifier". Nuance Users Conference, April 1998.
  106. ^ "Acoustic Modeling with Deep Neural Networks Using Raw Time Signal for LVCSR (PDF Download Available)". ResearchGate. مؤرشف من الأصل في 2021-05-09. اطلع عليه بتاريخ 2017-06-14.
  107. ^ Graves، Alex؛ Eck، Douglas؛ Beringer، Nicole؛ Schmidhuber، Jürgen (2003). "Biologically Plausible Speech Recognition with LSTM Neural Nets" (pdf). 1st Intl. Workshop on Biologically Inspired Approaches to Advanced Information Technology, Bio-ADIT 2004, Lausanne, Switzerland. ص. 175–184. مؤرشف (PDF) من الأصل في 2021-05-09. اطلع عليه بتاريخ 2016-04-09.
  108. ^ Graves، Alex؛ Fernández، Santiago؛ Gomez، Faustino؛ Schmidhuber، Jürgen (2006). "Connectionist temporal classification: Labelling unsegmented sequence data with recurrent neural networks". Proceedings of the International Conference on Machine Learning, ICML 2006: 369–376. CiteSeerX:10.1.1.75.6306.
  109. ^ "An application of recurrent neural networks to discriminative keyword spotting" (PDF). مؤرشف من الأصل (pdf) في 2018-11-18. اطلع عليه بتاريخ 2024-10-08.
  110. ^ Hinton، Geoffrey E. (1 أكتوبر 2007). "Learning multiple layers of representation". Trends in Cognitive Sciences. ج. 11 ع. 10: 428–434. DOI:10.1016/j.tics.2007.09.004. ISSN:1364-6613. PMID:17921042. S2CID:15066318. مؤرشف من الأصل في 2013-10-11. اطلع عليه بتاريخ 2017-06-12.
  111. ^ Hinton، G. E.؛ Osindero، S.؛ Teh، Y. W. (2006). "A Fast Learning Algorithm for Deep Belief Nets" (pdf). Neural Computation. ج. 18 ع. 7: 1527–1554. DOI:10.1162/neco.2006.18.7.1527. PMID:16764513. S2CID:2309950. مؤرشف (PDF) من الأصل في 2015-12-23. اطلع عليه بتاريخ 2011-07-20.
  112. ^ "Learning multiple layers of representation" (PDF). مؤرشف من الأصل (pdf) في 2018-05-22. اطلع عليه بتاريخ 2024-10-08.
  113. ^ Hinton, Geoffrey E. (Oct 2007). "Learning multiple layers of representation". Trends in Cognitive Sciences (بالإنجليزية). 11 (10): 428–434. DOI:10.1016/j.tics.2007.09.004. PMID:17921042. Archived from the original on 2024-08-14. Retrieved 2024-10-08.
  114. ^ Hinton, Geoffrey E.; Osindero, Simon; Teh, Yee-Whye (Jul 2006). "A Fast Learning Algorithm for Deep Belief Nets". Neural Computation (بالإنجليزية). 18 (7): 1527–1554. DOI:10.1162/neco.2006.18.7.1527. ISSN:0899-7667. PMID:16764513. Archived from the original on 2024-09-27. Retrieved 2024-10-08.
  115. ^ Hinton, Geoffrey E. (31 May 2009). "Deep belief networks". Scholarpedia (بالإنجليزية). 4 (5): 5947. Bibcode:2009SchpJ...4.5947H. DOI:10.4249/scholarpedia.5947. ISSN:1941-6016. Archived from the original on 2024-08-17. Retrieved 2024-10-08.
  116. ^ "Online". مؤرشف من الأصل في 2016-04-23. اطلع عليه بتاريخ 2024-10-08.
  117. ^ ا ب ج Hinton، G.؛ Deng، L.؛ Yu، D.؛ Dahl، G.؛ Mohamed، A.؛ Jaitly، N.؛ Senior، A.؛ Vanhoucke، V.؛ Nguyen، P.؛ Sainath، T.؛ Kingsbury، B. (2012). "Deep Neural Networks for Acoustic Modeling in Speech Recognition: The Shared Views of Four Research Groups". IEEE Signal Processing Magazine. ج. 29 ع. 6: 82–97. Bibcode:2012ISPM...29...82H. DOI:10.1109/msp.2012.2205597. S2CID:206485943. مؤرشف من الأصل في 2024-09-28. اطلع عليه بتاريخ 2024-10-08.
  118. ^ ا ب ج Deng، L.؛ Hinton، G.؛ Kingsbury، B. (مايو 2013). "New types of deep neural network learning for speech recognition and related applications: An overview (ICASSP)" (pdf). Microsoft Research. Microsoft. مؤرشف (PDF) من الأصل في 2017-09-26. اطلع عليه بتاريخ 2023-12-27.
  119. ^ ا ب Yu، D.؛ Deng، L. (2014). Automatic Speech Recognition: A Deep Learning Approach (Publisher: Springer). Springer. ISBN:978-1-4471-5779-3. مؤرشف من الأصل في 2023-05-24. اطلع عليه بتاريخ 2024-10-08.
  120. ^ "Deng receives prestigious IEEE Technical Achievement Award - Microsoft Research". Microsoft Research. 3 ديسمبر 2015. مؤرشف من الأصل في 2018-03-16. اطلع عليه بتاريخ 2018-03-16.
  121. ^ Li، Deng (سبتمبر 2014). "Keynote talk: 'Achievements and Challenges of Deep Learning - From Speech Analysis and Recognition To Language and Multimodal Processing'". Interspeech. مؤرشف من الأصل في 2017-09-26. اطلع عليه بتاريخ 2017-06-12.
  122. ^ Yu، D.؛ Deng، L. (2010). "Roles of Pre-Training and Fine-Tuning in Context-Dependent DBN-HMMs for Real-World Speech Recognition". NIPS Workshop on Deep Learning and Unsupervised Feature Learning. مؤرشف من الأصل في 2017-10-12. اطلع عليه بتاريخ 2017-06-14.
  123. ^ Seide، F.؛ Li، G.؛ Yu، D. (2011). "Conversational speech transcription using context-dependent deep neural networks". Interspeech 2011. ص. 437–440. DOI:10.21437/Interspeech.2011-169. S2CID:398770. مؤرشف من الأصل في 2017-10-12. اطلع عليه بتاريخ 2024-10-08.
  124. ^ Deng، Li؛ Li، Jinyu؛ Huang، Jui-Ting؛ Yao، Kaisheng؛ Yu، Dong؛ Seide، Frank؛ Seltzer، Mike؛ Zweig، Geoff؛ He، Xiaodong (1 مايو 2013). "Recent Advances in Deep Learning for Speech Research at Microsoft". Microsoft Research. مؤرشف من الأصل في 2017-10-12. اطلع عليه بتاريخ 2017-06-14.
  125. ^ ا ب Oh، K.-S.؛ Jung، K. (2004). "GPU implementation of neural networks". Pattern Recognition. ج. 37 ع. 6: 1311–1314. Bibcode:2004PatRe..37.1311O. DOI:10.1016/j.patcog.2004.01.013. مؤرشف من الأصل في 2024-09-30. اطلع عليه بتاريخ 2024-10-08.
  126. ^ ا ب Chellapilla، Kumar؛ Puri، Sidd؛ Simard، Patrice (2006)، "High performance convolutional neural networks for document processing"، Springer International Publishing، مؤرشف من الأصل في 2020-05-18، اطلع عليه بتاريخ 2021-02-14
  127. ^ Sze، Vivienne؛ Chen، Yu-Hsin؛ Yang، Tien-Ju؛ Emer، Joel (2017). "Efficient Processing of Deep Neural Networks: A Tutorial and Survey". arXiv:1703.09039 [cs.CV]. {{استشهاد بأرخايف}}: الوسيط |arxiv= مطلوب (مساعدة)
  128. ^ Raina، Rajat؛ Madhavan، Anand؛ Ng، Andrew Y. (14 يونيو 2009). "Large-scale deep unsupervised learning using graphics processors". Proceedings of the 26th Annual International Conference on Machine Learning. ICML '09. New York, NY, USA: Association for Computing Machinery. ص. 873–880. DOI:10.1145/1553374.1553486. ISBN:978-1-60558-516-1. مؤرشف من الأصل في 2024-07-31. اطلع عليه بتاريخ 2024-10-08.
  129. ^ Cireşan، Dan Claudiu؛ Meier، Ueli؛ Gambardella، Luca Maria؛ Schmidhuber، Jürgen (21 سبتمبر 2010). "Deep, Big, Simple Neural Nets for Handwritten Digit Recognition". Neural Computation. ج. 22 ع. 12: 3207–3220. arXiv:1003.0358. DOI:10.1162/neco_a_00052. ISSN:0899-7667. PMID:20858131. S2CID:1918673. مؤرشف من الأصل في 2024-05-21. اطلع عليه بتاريخ 2024-10-08.
  130. ^ Ciresan، D. C.؛ Meier، U.؛ Masci، J.؛ Gambardella، L.M.؛ Schmidhuber، J. (2011). "Flexible, High Performance Convolutional Neural Networks for Image Classification" (pdf). International Joint Conference on Artificial Intelligence. DOI:10.5591/978-1-57735-516-8/ijcai11-210. مؤرشف (PDF) من الأصل في 2014-09-29. اطلع عليه بتاريخ 2017-06-13.
  131. ^ ا ب Ciresan، Dan؛ Giusti، Alessandro؛ Gambardella، Luca M.؛ Schmidhuber، Jürgen (2012). Pereira، F.؛ Burges، C. J. C.؛ Bottou، L.؛ Weinberger، K. Q. (المحررون). Advances in Neural Information Processing Systems 25 (pdf). Curran Associates, Inc. ص. 2843–2851. مؤرشف (PDF) من الأصل في 2017-08-09. اطلع عليه بتاريخ 2017-06-13.
  132. ^ ا ب Ciresan، D.؛ Giusti، A.؛ Gambardella، L.M.؛ Schmidhuber، J. (2013). "Mitosis Detection in Breast Cancer Histology Images with Deep Neural Networks". Medical Image Computing and Computer-Assisted Intervention – MICCAI 2013. Lecture Notes in Computer Science. ج. 7908. ص. 411–418. DOI:10.1007/978-3-642-40763-5_51. ISBN:978-3-642-38708-1. PMID:24579167. مؤرشف من الأصل في 2024-04-21. اطلع عليه بتاريخ 2024-10-08.
  133. ^ Ng، Andrew؛ Dean، Jeff (2012). "Building High-level Features Using Large Scale Unsupervised Learning". arXiv:1112.6209 [cs.LG]. {{استشهاد بأرخايف}}: الوسيط |arxiv= مطلوب (مساعدة)
  134. ^ Krizhevsky، Alex؛ Sutskever، Ilya؛ Hinton، Geoffrey (2012). "ImageNet Classification with Deep Convolutional Neural Networks" (pdf). NIPS 2012: Neural Information Processing Systems, Lake Tahoe, Nevada. مؤرشف (PDF) من الأصل في 2017-01-10. اطلع عليه بتاريخ 2017-05-24.
  135. ^ Simonyan، Karen؛ Andrew، Zisserman (2014). "Very Deep Convolution Networks for Large Scale Image Recognition". arXiv:1409.1556 [cs.CV]. {{استشهاد بأرخايف}}: الوسيط |arxiv= مطلوب (مساعدة)
  136. ^ Szegedy، Christian (2015). "Going deeper with convolutions" (PDF). Cvpr2015. arXiv:1409.4842. مؤرشف من الأصل (pdf) في 2024-09-30. اطلع عليه بتاريخ 2024-10-08.
  137. ^ Vinyals، Oriol؛ Toshev، Alexander؛ Bengio، Samy؛ Erhan، Dumitru (2014). "Show and Tell: A Neural Image Caption Generator". arXiv:1411.4555 [cs.CV]. {{استشهاد بأرخايف}}: الوسيط |arxiv= مطلوب (مساعدة).
  138. ^ Fang، Hao؛ Gupta، Saurabh؛ Iandola، Forrest؛ Srivastava، Rupesh؛ Deng، Li؛ Dollár، Piotr؛ Gao، Jianfeng؛ He، Xiaodong؛ Mitchell، Margaret؛ Platt، John C؛ Lawrence Zitnick، C؛ Zweig، Geoffrey (2014). "From Captions to Visual Concepts and Back". arXiv:1411.4952 [cs.CV]. {{استشهاد بأرخايف}}: الوسيط |arxiv= مطلوب (مساعدة).
  139. ^ Kiros، Ryan؛ Salakhutdinov، Ruslan؛ Zemel، Richard S (2014). "Unifying Visual-Semantic Embeddings with Multimodal Neural Language Models". arXiv:1411.2539 [cs.LG]. {{استشهاد بأرخايف}}: الوسيط |arxiv= مطلوب (مساعدة).
  140. ^ Simonyan، Karen؛ Zisserman، Andrew (10 أبريل 2015)، Very Deep Convolutional Networks for Large-Scale Image Recognition، arXiv:1409.1556
  141. ^ He، Kaiming؛ Zhang، Xiangyu؛ Ren، Shaoqing؛ Sun، Jian (2016). "Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification". arXiv:1502.01852 [cs.CV]. {{استشهاد بأرخايف}}: الوسيط |arxiv= مطلوب (مساعدة)
  142. ^ He، Kaiming؛ Zhang، Xiangyu؛ Ren، Shaoqing؛ Sun، Jian (10 ديسمبر 2015). Deep Residual Learning for Image Recognition. arXiv:1512.03385.
  143. ^ He، Kaiming؛ Zhang، Xiangyu؛ Ren، Shaoqing؛ Sun، Jian (2016). Deep Residual Learning for Image Recognition. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas, NV, USA: IEEE. ص. 770–778. arXiv:1512.03385. DOI:10.1109/CVPR.2016.90. ISBN:978-1-4673-8851-1. مؤرشف من الأصل في 2024-10-07. اطلع عليه بتاريخ 2024-10-08.
  144. ^ Gatys، Leon A.؛ Ecker، Alexander S.؛ Bethge، Matthias (26 أغسطس 2015). "A Neural Algorithm of Artistic Style". arXiv:1508.06576 [cs.CV]. {{استشهاد بأرخايف}}: الوسيط |arxiv= مطلوب (مساعدة)
  145. ^ Goodfellow، Ian؛ Pouget-Abadie، Jean؛ Mirza، Mehdi؛ Xu، Bing؛ Warde-Farley، David؛ Ozair، Sherjil؛ Courville، Aaron؛ Bengio، Yoshua (2014). "Generative Adversarial Networks" (pdf). Proceedings of the International Conference on Neural Information Processing Systems (NIPS 2014). Advances in Neural Information Processing Systems. ص. 2672–2680. مؤرشف (PDF) من الأصل في 2019-11-22. اطلع عليه بتاريخ 2019-08-20.
  146. ^ "GAN 2.0: NVIDIA's Hyperrealistic Face Generator". SyncedReview.com. 14 ديسمبر 2018. مؤرشف من الأصل في 2024-09-12. اطلع عليه بتاريخ 2019-10-03.
  147. ^ Karras، T.؛ Aila، T.؛ Laine، S.؛ Lehtinen، J. (26 فبراير 2018). "Progressive Growing of GANs for Improved Quality, Stability, and Variation". arXiv:1710.10196 [cs.NE]. {{استشهاد بأرخايف}}: الوسيط |arxiv= مطلوب (مساعدة)
  148. ^ "Prepare, Don't Panic: Synthetic Media and Deepfakes". witness.org. مؤرشف من الأصل في 2020-12-02. اطلع عليه بتاريخ 2020-11-25.
  149. ^ Sohl-Dickstein, Jascha; Weiss, Eric; Maheswaranathan, Niru; Ganguli, Surya (01 Jun 2015). "Deep Unsupervised Learning using Nonequilibrium Thermodynamics" (PDF). Proceedings of the 32nd International Conference on Machine Learning (بالإنجليزية). PMLR. 37: 2256–2265. arXiv:1503.03585. Archived from the original (pdf) on 2024-09-21. Retrieved 2024-10-08.
  150. ^ Google Research Blog. The neural networks behind Google Voice transcription. August 11, 2015. By Françoise Beaufays http://googleresearch.blogspot.co.at/2015/08/the-neural-networks-behind-google-voice.html
  151. ^ ا ب Sak، Haşim؛ Senior، Andrew؛ Rao، Kanishka؛ Beaufays، Françoise؛ Schalkwyk، Johan (سبتمبر 2015). "Google voice search: faster and more accurate". مؤرشف من الأصل في 2016-03-09. اطلع عليه بتاريخ 2016-04-09.
  152. ^ Singh، Premjeet؛ Saha، Goutam؛ Sahidullah، Md (2021). "Non-linear frequency warping using constant-Q transformation for speech emotion recognition". 2021 International Conference on Computer Communication and Informatics (ICCCI). ص. 1–4. arXiv:2102.04029. DOI:10.1109/ICCCI50826.2021.9402569. ISBN:978-1-7281-5875-4. S2CID:231846518. مؤرشف من الأصل في 2024-06-03. اطلع عليه بتاريخ 2024-10-08.
  153. ^ Sak، Hasim؛ Senior، Andrew؛ Beaufays، Francoise (2014). "Long Short-Term Memory recurrent neural network architectures for large scale acoustic modeling" (PDF). Cvpr2015. مؤرشف من الأصل (pdf) في 2018-04-24. اطلع عليه بتاريخ 2024-10-08.
  154. ^ Li، Xiangang؛ Wu، Xihong (2014). "Constructing Long Short-Term Memory based Deep Recurrent Neural Networks for Large Vocabulary Speech Recognition". arXiv:1410.4281 [cs.CL]. {{استشهاد بأرخايف}}: الوسيط |arxiv= مطلوب (مساعدة)
  155. ^ Zen، Heiga؛ Sak، Hasim (2015). "Unidirectional Long Short-Term Memory Recurrent Neural Network with Recurrent Output Layer for Low-Latency Speech Synthesis" (pdf). Google.com. ICASSP. ص. 4470–4474. مؤرشف (PDF) من الأصل في 2021-05-09. اطلع عليه بتاريخ 2017-06-13.
  156. ^ "2018 ACM A.M. Turing Award Laureates". awards.acm.org (بالإنجليزية). Archived from the original on 2024-10-06. Retrieved 2024-08-07.
  157. ^ Bhadeshia H. K. D. H. (1999). "Neural Networks in Materials Science" (pdf). ISIJ International. ج. 39 ع. 10: 966–979. DOI:10.2355/isijinternational.39.966. اطلع عليه بتاريخ 2024-10-13.
  158. ^ Cybenko، G.V. (2006). "Approximation by Superpositions of a Sigmoidal function" (PDF). في van Schuppen، Jan H. (المحرر). Mathematics of Control, Signals, and Systems (pdf). Springer International. ص. 303–314. مؤرشف من الأصل في 2011-07-19. اطلع عليه بتاريخ 2024-10-13.
  159. ^ Fahlman، S.؛ Lebiere، C (1991). "The Cascade-Correlation Learning Architecture" (PDF). مؤرشف من الأصل (pdf) في 2013-05-03. اطلع عليه بتاريخ 2006-08-28.
  160. ^ Maurer، Harald (2021). Cognitive science: integrative synchronization mechanisms in cognitive neuroarchitectures of the modern connectionism. CRC Press. DOI:10.1201/9781351043526. ISBN:978-1-351-04352-6. S2CID:242963768. اطلع عليه بتاريخ 2024-10-13.
  161. ^ Lawrence، Jeanette (1994). Introduction to neural networks: design, theory and applications. California Scientific Software. ISBN:978-1-883157-00-5. OCLC:32179420. اطلع عليه بتاريخ 2024-10-13.
  162. ^ Siegelmann، H.T.؛ Sontag، Eduardo D. (1994). "Analog computation via neural networks". Theoretical Computer Science. ج. 131 ع. 2: 331–360. DOI:10.1016/0304-3975(94)90178-3. S2CID:2456483. اطلع عليه بتاريخ 2024-10-13.
  163. ^ Silver، David؛ Huang، Aja؛ Maddison، Chris J.؛ Guez، Arthur؛ Sifre، Laurent؛ Driessche، George van den؛ Schrittwieser، Julian؛ Antonoglou، Ioannis؛ Panneershelvam، Veda (يناير 2016). "Mastering the game of Go with deep neural networks and tree search". Nature. ج. 529 ع. 7587: 484–489. Bibcode:2016Natur.529..484S. DOI:10.1038/nature16961. ISSN:1476-4687. PMID:26819042. S2CID:515925. مؤرشف من الأصل في 2024-10-01. اطلع عليه بتاريخ 2024-10-08.
مجلوبة من «https://ar.wikipedia.org/w/index.php?title=تعلم_متعمق&oldid=68379293»