ويكيبيديا

محول مولد مسبق التدريب

عائلة نماذج اللغة

المُحول المُولّد مسبق التدريب (جي بي تي)[1] أو المحول المُولّد المدرب مسبقا (بالإنجليزية: Generative pre-trained transformers (GPT)) هي نوع من النماذج اللغوية الكبيرة [2][3][4] وإطار بارز للذكاء الاصطناعي التوليدي. قدمت شركة أوبن أيه آي الجي بي تي الأول في عام 2018. نماذج الجي بي تي هي شبكات عصبية اصطناعية تعتمد على هيكلية محولات، مدربة مسبقا على مجموعات بيانات كبيرة من النصوص غير الموسومة، وقادرة على توليد محتوى جديد يشبه المحتوى البشري.[3][4] أصبحت لمعظم النماذج اللغوية الكبيرة بحلول عام 2023 هذه الخصائص وتشار إليها أحيانا على نطاق واسع بصفتها جي بي تيز (بالإنجليزية: GPTs)‏.[5][6]

نموذج GPT الأصلي

أصدرت أوبن أيه آي نماذج أساسية لـ جي بي تي ذات تأثير كبير والتي رُقمت بتسلسل، لتشكل سلسلتها جي بي تي-إن .[7][8] كل من هذه النماذج كان أكثر قدرة من السابق، بسبب الحجم المتزايد (عدد المعاملات التي يمكن تدريبها) والتدريب. أحدث هذه النماذج، جي بي تي-4، أُصدر في مارس 2023.[9] هذه النماذج كانت الأساس لأنظمة جي بي تي الخاصة بهذه النماذج المخصصة للمهام الأكثر تحديدًا، بما في ذلك النماذج المعدلة لمتابعة الإرشادات - التي بدورها تُشغل خدمة الدردشةشات جي بي تي.[10]

يُستخدم مصطلح "جي بي تي" أيضًا في أسماء وأوصاف النماذج التي طورها الآخرون. على سبيل المثال، تشمل النماذج الأساسية الأخرى لـ جي بي تي سلسلة من النماذج التي أنشأتها إي لوثر إي آي [الإنجليزية]، [11] ومؤخراً سبعة نماذج أنشأتها سيريبراس [الإنجليزية] في 2023. [12] بالإضافة إلى ذلك، قامت شركات في صناعات مختلفة بتطوير جي بي تيز محددة للمهام في مجالاتها المختلفة، مثل نموذج سيلز فورس المُسمى "أينشتاين جي بي تي - (بالإنجليزية: EinsteinGPT)‏" (لإدارة علاقات العملاء)، [13] ونموذج بلومبيرغ المُسمى "برومبيرج جي بي تي - (بالإنجليزية: BloombergGPT)‏" (للتمويل). [14]

التاريخ

عدل

التطورات الأولية

عدل

كان التدريب التوليدي المسبق (GP) مفهومًا راسخًا منذ فترة طويلة في تطبيقات التعلم الآلي. [15][16] وكان يُستخدم أساسًا كشكل من أشكال التعلم شبه المُراقب، حيث يُدرب النموذج على مجموعة بيانات غير مُعلّمة (خطوة التدريب المسبق) من خلال تعلم توليد نقاط البيانات في مجموعة البيانات، ثم يُدرب على تصنيف مجموعة بيانات مُعلّمة. [17] وكانت هناك 3 أنواع رئيسية من التدريب التوليدي المُبكر.

تتعلم نماذج ماركوف المخفية نموذجًا توليديًا للتسلسلات للتطبيقات اللاحقة. على سبيل المثال، في التعرف على الكلام، يستنتج نموذج ماركوف المخفي المُدرب التسلسل المخفي الأكثر احتمالية لإشارة الكلام، ويُؤخذ التسلسل المخفي على أنه أصوات إشارة الكلام. طُورت هذه النماذج في السبعينيات وطُبقت في التعرف على الكلام في الثمانينيات. [18][19]

تتعلم أدوات الضغط ضغط البيانات مثل الصور والتسلسلات النصية، وتُعتبر البيانات المضغوطة تمثيلًا جيدًا للتطبيقات اللاحقة مثل التعرف على الوجه. [20][21][22] وبالمثل تتعلم أجهزة التشفير التلقائي تمثيلًا كامنًا للبيانات لتطبيقات لاحقة مثل التعرف على الكلام. [23][24] لُوحظت العلاقة بين أجهزة التشفير التلقائي وأدوات الضغط الخوارزمية في عام 1993.[25]

خلال العقد الثاني من القرن الحادي والعشرين، حلت الشبكات العصبية المتكررة مشكلة الترجمة الآلية مع إضافة آلية الانتباه. تم تحسين ذلك في بنية المحولات، التي نشرها باحثو جوجل في "الانتباه هو كل ما تحتاجه" (2017). [26] أدى هذا التطور إلى ظهور نماذج لغوية كبيرة مثل BERT في 2018. [27] الذي كان عبارة عن محول مُدرّب مُسبقًا (PT) ولكن لم يتم تصميمه ليكون توليديًا (كان BERT نموذجًا "للتشفير فقط"). أيضًا في عام 2018 نشرت أوبن أيه آي "تحسين فهم اللغة من خلال التدريب التوليدي المسبق"، والذي قدم نموذج جي بي تي-1 وهو أول نماذج سلسلة جي بي تي. [28]

في عام 2017 عمل بعض المؤلفين الذين سيعملون لاحقًا على جي بي تي-1 على التدريب التوليدي المسبق للغة باستخدام الذاكرة القصيرة المدى المطولة (LSTM)، مما أدى إلى نموذج يُمكنه تمثيل النص باستخدام متجهات يُمكن ضبطها بسهولة للتطبيقات اللاحقة. [29]

قبل البنى القائمة على المحولات، كانت نماذج البرمجة اللغوية العصبية (معالجة اللغة الطبيعية) الأفضل أداءً تستخدم التعلم المُراقب من كميات كبيرة من البيانات المُعلّمة يدويًا. حد الاعتماد على التعلم المُراقب من استخدامها في مجموعات البيانات التي لم تكن مُعلّمة جيدًا، كما جعل تدريب نماذج اللغات الكبيرة للغاية مُكلفًا ويستغرق وقتًا طويلاً بشكل باهظ. [28]

تضمن النهج شبه المُراقب الذي استخدمته أوبن أيه آي لإنشاء نظام توليدي واسع النطاق - وكان أول من فعل ذلك باستخدام نموذج محول - مرحلتين: مرحلة "تدريب مُسبق" توليديةغير مُراقبة لتعيين المعلمات الأولية باستخدام هدف نمذجة اللغة، ومرحلة "ضبط دقيق" تمييزية مُراقبة لتكييف هذه المعلمات مع مهمة مُستهدفة. [28]

التطورات اللاحقة

عدل

نشرت أوبن أيه آي الإصدارات الأولى من جي بي تي-3 في يوليو 2020. وكانت له ثلاثة نماذج: باباج (بالإنجليزية: babbage)‏ بواقع 1 مليار مُعلمة، وكوري - (بالإنجليزية: curie)‏ بواقع 6.7 مليار مُعلمة، ودافنشي - (بالإنجليزية: davinci)‏ بواقع 175 مليار مُعلمة.

في يوليو 2021، نشرت أوبن أيه آي نموذج "كوديكس - (بالإنجليزية: Codex)‏"، وهو نموذج جي بي تي مُخصص للمهام مُستهدف لتطبيقات البرمجة. طُور عن طريق الضبط الدقيق لإصدار 12 مليار مُعلمة من جي بي تي-3 (يختلف عن نماذج جي بي تي-3 السابقة) باستخدام التعليمات البرمجية من غيت هاب. [30]

في مارس 2022، نشرت أوبن أيه آي إصدارين من جي بي تي-3 ضُبطا بدقة لاتباع التعليمات (ضبط التعليمات)، ويُسمى (بالإنجليزية: davinci-instruct-beta)‏ (175 مليار) ونموذج "دافنشي النصي الأول - (بالإنجليزية: text-davinci-001)‏"، [31] ثم بدأت اختبار بيتا لنموذج "كود دافنشي الثاني - (بالإنجليزية: code-davinci-002)‏". [33] ضُبط نموذج "دافنشي النصي الثاني" لاتباع التعليمات من نموذج "كود دافنشي الثاني". في نوفمبر 2022 أصدرت الشركة نموذجي "دافنشي النصي الثالث - (بالإنجليزية: text-davinci-003)‏" وشات جي بي تي، وكلاهما مبني على "دافنشي النصي الثاني" عبر التعلم المعزز من التغذية الراجعة البشرية (RLHF). دُرب نموذج "دافنشي النصي الثالث" على اتباع التعليمات (مثل سابقاتها)، بينما دُرب "شات جي بي تي" بشكل أكبر على التفاعل الحواري مع مُستخدم بشري. [32][33]

أصدرت شركة أوبن أيه آي نموذج جي بي تي-4 وهو أحدث نموذج جي بي تي أساسي في 14 مارس 2023. وأتاحت للمستخدمين الوصول إليه مُباشرةً من خلال إصدار مُميز من "شات جي بي تي"، وأتاحت للمطورين دمجه في المنتجات والخدمات الأخرى عبر واجهة برمجة التطبيقات. من بين المُنتجين الآخرين لنماذج جي بي تي الأساسية شركة "إليوثير أيه آي" ولها سلسلة من النماذج بدأت إصدارها في مارس 2021، [11] وشركة "سيريبراس" ولها سبعة نماذج بدأت اصدارها في مارس 2023. [12]

النماذج الأساسية

عدل

النموذج الأساسي هو نموذج ذكاء اصطناعي دُرب على بيانات واسعة النطاق ويمكن تكييفه لمجموعة متنوعة من المهام اللاحقة. [34][35]

تُعتبر هذه النماذج الأساسية الأكثر بروزًا في سلسلة نماذج "جي بي تي" من أوبن أيه آي، وأحدثها هو جي بي تي-4 الذي رفضت أوبن أيه آي نشر حجم النموذج أو تفاصيل تدريبه مشيرة إلى "البيئة التنافسية والآثار الأمنية للنماذج الكبيرة". [36]

سلسلة نماذج GPT-n من أوبن أيه آي
النموذج البنية المعمارية عدد المعاملات بيانات التدريب تاريخ الإصدار تكلفة التدريب
جي بي تي-1 [الإنجليزية] 12 مستوى، 12 رأسًا من المحولات (بدون مشفر)، متبوعًا بسوفت ماكس الخطية. 117 مليون مجموعة بيانات "كتاب كوربوس":[37] 4.5 جيجابايت من النصوص، من 7000 كتاب غير منشور من أنواع مختلفة. 11 يونيو 2018[7] 30 يومًا على 8 وحدات معالجة الرسوميات P600، أو 1 بيتا فلوبس/يوم.[7]
جي بي تي-2 [الإنجليزية] GPT-1، ولكن مع تعديل في التنعيم 1.5 مليار نص الويب: 40 جيجابايت من النصوص، 8 مليون مستند، من 45 مليون صفحة ويب حصلت على تصويت إيجابي على ريديت. 14 فبراير 2019 (الإصدار الأول/المحدود) و5 نوفمبر 2019 (الإصدار الكامل)[38] "عشرات من فلوبس/يوم"،[39] أو 1.5e21 FLOP.[40]
جي بي تي-3 GPT-2، ولكن مع تعديل للسماح بتوسيع أكبر 175 مليار[41] 499 مليار رمز يتكون من الزحف المشترك (570 جيجابايت)، نص الويب، ويكيبيديا الإنجليزية، ومجموعتين من الكتب (Books1 وBooks2). 28 مايو 2020[39] 3640 بيتا فلوبس/يوم (الجدول D.1[39])، أو 3.1e23 فلوب.[40]
جي بي تي-3 غير معلن 175 مليار[41] غير معلن 15 مارس 2022 غير معلن
جي بي تي-4 تم تدريبه أيضًا باستخدام كل من توقع النص و"التعلم التعزيزي من ردود الفعل البشرية"؛ يقبل النصوص والصور كمدخلات. التفاصيل الإضافية غير معلنة.[36] غير معلن. يقدر بحوالي 1.7 تريليون.[42] غير معلن 14 مارس 2023 غير معلن. يقدر بحوالي 2.1 × 1025 فلوب.[40]

من النماذج الأخرى نموذج بالم من جوجل، وهو نموذج أساسي شامل يُقارن بجي بي تي-3، وهو متاح للمطورين عبر واجهة برمجة التطبيقات (API)،[43][44] ونموذج "جي بي تي-جي تي - (بالإنجليزية: GPT-JT)‏" من توقيذر، والذي يُعتبره البعض أقرب بديل مفتوح المصدر لجي بي تي-3 وهو مشتق من نماذج جي بي تي مفتوحة المصدر السابقة.[45] كما أن لدى "ميتا أيه آي" (المعروفة سابقًا باسم فيسبوك) نموذجًا كبيرًا قائمًا على التحويلات التوليدية، يُعرف باسم لاما [الإنجليزية]. [46]

يمكن أن تستخدم النماذج الأساسية أنماطًا أخرى غير النصوص كمدخلات أو مخرجات. ويعد نموذج جي بي تي-4 نموذجًا متعدد الوسائط له القدرة على مُعالجة المدخلات كنص أو صورة، وتقتصر مخرجاته على النصوص. [47] فيما يتعلق بالإخراج متعدد الوسائط، تُستخدم بعض النماذج التوليدية القائمة على المحولات لتقنيات في تقنيات تحويل النص إلى صورة، مثل نماذج الانتشار وفك التشفير المتوازي. [48][49] يمكن أن تكون هذه الأنواع من النماذج بمثابة نماذج أساسية مرئية (VFMs) لتطوير أنظمة لاحقة يُمكنها العمل مع الصور. [50]

النماذج المخصصة للمهام

عدل

يمكن تكييف نموذج جي بي تي الأساسي بشكل أكبر لإنتاج أنظمة أكثر استهدافًا موجهة إلى مهام مُحددة و/أو مجالات موضوعية. يمكن أن تتضمن أساليب هذا التكييف ضبطًا دقيقًا إضافيًا (إلى جانب ما يُجرى للنموذج الأساسي) بالإضافة إلى أشكال مُعينة من هندسة المُطالبات. [51]

من الأمثلة المهمة على ذلك ضبط النماذج بدقة لاتباع التعليمات، وهي بالطبع مهمة واسعة إلى حد ما ولكنها أكثر استهدافًا من النموذج الأساسي. في يناير 2022، قدمت أوبن أيه آي "انستركت جي بي تي - (بالإنجليزية: InstructGPT)‏" - وهي سلسلة من النماذج التي ضُبطت بدقة لاتباع التعليمات باستخدام مزيج من التدريب المُراقب والتعلم المعزز من التغذية الراجعة البشرية (RLHF) على نماذج لغة جي بي تي-3 الأساسية. [52][53] تشمل المزايا التي يتمتع بها هذا على النماذج الأساسية المجردة دقة أعلى، ومشاعر سلبية/سامة أقل، ومحاذاة أفضل بشكل عام مع احتياجات المستخدم. لذلك، بدأت أوبن أيه آي في استخدام هذا كأساس لعروض خدمة واجهة برمجة التطبيقات الخاصة بها. [54] تم إصدار نماذج أخرى مُضبوطة للتعليمات من قبل آخرين، بما في ذلك إصدار مفتوح بالكامل. [55][56]

نوع آخر (ذو صلة) من النماذج المُخصصة للمهام هو روبوتات الدردشة، التي تُشارك في محادثة تُشبه الإنسان. في نوفمبر 2022 أطلقت أوبن أيه آي "شات جي بي تي" - وهي واجهة دردشة عبر الإنترنت تعمل بواسطة نموذج لغة مُضبوط للتعليمات دُرب بطريقة مُشابهة لـ "انستركت جي بي تي". [57] قاموا بتدريب هذا النموذج باستخدام التعلم المعزز من التغذية الراجعة البشرية، حيث يُجري مُدربو الذكاء الاصطناعي البشري محادثات يلعبون فيها دور كل من المستخدم والذكاء الاصطناعي، وخلطوا مجموعة بيانات الحوار الجديدة هذه مع مجموعة بيانات "انستركت جي بي تي" للحصول على تنسيق محادثة مُناسب لروبوت الدردشة. تشمل روبوتات الدردشة الرئيسية الأخرى حاليًا بينغ شات من مايكروسوفت، الذي يستخدم جي بي تي-4 من أوبن أيه آي (كجزء من تعاون وثيق أوسع بين أوبن أيه آي ومايكروسوفت)، [58] وروبوت الدردشة المُنافس من جوجل، بارد الذي أعتمد في البداية على عائلة لامدا من نماذج اللغات المُدربة على المحادثة، مع خطط لتحويله إلى نماذج بالم. [59]

نوع آخر من المهام التي يُمكن استخدام جي بي تي من أجلها هو المهمة الفوقية المتمثلة في إنشاء تعليماته الخاصة، مثل تطوير سلسلة من المُطالبات "لنفسها" لتكون قادرة على تحقيق هدف أكثر عمومية يُحدده مُستخدم بشري. [60] يُعرف هذا باسم وكيل الذكاء الاصطناعي، وبشكل أكثر تحديدًا وكيل تكراري لأنه يستخدم نتائج تعليماته الذاتية السابقة لمساعدته في تشكيل مُطالباته اللاحقة؛ كان المثال الرئيسي الأول على ذلك هو أوتو جي بي تي [الإنجليزية] (الذي يستخدم نماذج جي بي تي من أوبن أيه آي)، ومنذ ذلك الحين طُورت نماذج أخرى أيضًا. [61]

تعددية الوسائط

عدل

يمكن أيضًا استهداف الأنظمة التوليدية القائمة على المحولات للمهام التي تتضمن أساليب تتجاوز النص. على سبيل المثال يجمع "شات جي بي تي المرئي" من مايكروسوفت بين "شات جي بي تي" ونماذج الرؤية الأساسية (VFMs) لتمكين الإدخال أو الإخراج الذي يشتمل على صور بالإضافة إلى نص. [62] أيضًا تُوفر التطورات في تقنية تحويل النص إلى كلام أدوات لإنشاء محتوى صوتي عند استخدامها جنبًا إلى جنب مع نماذج لغة جي بي تي الأساسية. [63]

تخصص المجال

عدل

يمكن توجيه أنظمة جي بي تي نحو مجالات أو نطاقات مُعينة. فيما يلي بعض الأمثلة لهذه النماذج والتطبيقات:

  • EinsteinGPT - لمجالات المبيعات والتسويق، للمساعدة في إدارة علاقات العملاء (يستخدم جي بي تي-3.5). [13][64]
  • BloombergGPT - للمجال المالي، للمساعدة في الأخبار والمعلومات المالية (يستخدم أساليب الذكاء الاصطناعي "المُتاحة مجانًا"، جنبًا إلى جنب مع بياناتهم الخاصة). [65]
  • Khanmigo - يُوصف بأنه إصدار جي بي تي للتدريس، يُساعد الطلاب الذين يستخدمون أكاديمية خان من خلال إرشادهم خلال دراساتهم دون تقديم إجابات مُباشرة (مدعوم من جي بي تي-4). [66][67]
  • SlackGPT - لخدمة المراسلة الفورية سلاك، للمساعدة في التنقل وتلخيص المُناقشات عليها (يستخدم واجهة برمجة تطبيقات أوبن أيه آي). [68]
  • BioGPT - للمجال الطبي الحيوي، للمساعدة في توليد النصوص واستخراج البيانات من الأدبيات الطبية الحيوية (يستخدم جي بي تي-2). [69]

في بعض الأحيان، تُحقق خصوصية المجال عبر المكونات الإضافية للبرامج أو الإضافات. على سبيل المثال، طورت العديد من الشركات المختلفة مكونات إضافية مُعينة تتفاعل مُباشرةً مع واجهة "شات جي بي تي" من أوبن أيه آي، [70][71] ولدى جوجل ورك سبيس إضافات مُتاحة مثل (بالإنجليزية: GPT for Sheets and Docs)‏ والتي يُقال إنها تُساعد في استخدام وظائف جداول البيانات في جداول بيانات جوجل. [72][73]

في نوفمبر 2023، أعلنت أوبن أيه آي أنها ستُتيح لمُشتركي "شات جي بي تي بلس" إنشاء إصدارات مُخصصة من "شات جي بي تي" تُسمى "جي بي تيز - (بالإنجليزية: GPTs)‏". [74][75] بحيث يُمكن تخصيصها لمجالات مُحددة عبر هندسة المُطالبات، ومجموعات البيانات المُنسقة، والتفاعل المُستهدف مع الأدوات الخارجية. ويمكن للمستخدمين الذين يُسجلون كمُنشئين مُتحققين إتاحة الـ "جي بي تيز" للمستخدمين آخرين، مع إمكانية تحقيق الدخل منها. (هذا يختلف بشكل ملحوظ عن خدمة واجهة برمجة تطبيقات أوبن أيه آي، حيث يعتمد هذا داخليًا على منصة أوبن أيه آي.)[76]

قضايا العلامة التجارية

عدل

أكدت شركة أوبن أيه آي، التي أنشأت أول محول توليدي مُدرّب مُسبقًا (GPT) في عام 2018، مؤخرًا أنه يجب اعتبار "جي بي تي" علامة تجارية خاصة بها. [77] وفي أبريل 2023 عدلت إرشادات العلامة التجارية في شروط الخدمة [الإنجليزية] الخاصة بها للإشارة إلى أن الشركات الأخرى التي تستخدم واجهة برمجة التطبيقات الخاصة بها لتشغيل خدمات الذكاء الاصطناعي الخاصة بها لن تتمكن بعد الآن من تضمين "جي بي تي" في مثل هذه الأسماء أو العلامات التجارية. [36] في مايو 2023 تعاقدت أوبن أيه آي مع خدمة إدارة العلامات التجارية لإخطار عملاء واجهة برمجة التطبيقات الخاصة بها بهذه السياسة، على الرغم من أن هذه الإخطارات لم تصل إلى حد تقديم مُطالبات قانونية علنية (مثل مزاعم انتهاك العلامات التجارية [الإنجليزية] أو خطاب التوقف والكف [الإنجليزية]). [7] في نوفمبر 2023 بدأت في تمكين مُشتركي "شات جي بي تي بلس" من إنشاء إصدارات مُخصصة من "شات جي بي تي" والتي تُسمى "جي بي تيز - GPTs" على موقع أوبن أيه آي. [78][79] تنص شروط خدمة أوبن أيه آي على أنه يجوز لمُشتركيها استخدام "جي بي تي" في أسماء هذه الإصدارات، على الرغم من أنه "غير مُشجع". [11]

وبشكل مُتصل، تقدمت أوبن أيه آي إلى مكتب الولايات المتحدة لبراءات الاختراع والعلامات التجارية (USPTO) للحصول على تسجيل علامة تجارية محلية لمُصطلح "جي بي تي - GPT" في مجال الذكاء الاصطناعي. [7] سعت أوبن أيه آي إلى تسريع معالجة طلبها، لكن مكتب البراءات رفض هذا الطلب في أبريل 2023. [80] في مايو 2023 رد مكتب البراءات على الطلب بتحديد أن "جي بي تي" كان وصفًا عامًا. [81] اعتبارًا من نوفمبر 2023، تُواصل أوبن أيه آي مُتابعة حجتها من خلال العمليات المُتاحة. بغض النظر عن ذلك، فإن عدم الحصول على علامة تجارية أمريكية مُسجلة لا يحول دون مستوى مُعين من حقوق العلامات التجارية بموجب القانون العام في الولايات المتحدة، [82] و/أو حقوق العلامات التجارية في دول أخرى. [83]

بالنسبة لأي نوع أو نطاق من حماية العلامات التجارية في الولايات المتحدة، ستحتاج أوبن أيه آي إلى إثبات أن المصطلح "مُميز" بالفعل لعروضها المُحددة بالإضافة إلى كونه مُصطلحًا تقنيًا أوسع لنوع التكنولوجيا. أشارت بعض التقارير الإعلامية إلى أن أوبن أيه آي قد تتمكن من الحصول على تسجيل علامة تجارية بشكل غير مُباشر بناءً على شهرة منتج روبوت الدردشة "شات جي بي تي"، [12][84] الذي سعت أوبن أيه آي للحصول على حماية له بشكل مُنفصل وسعت لفرضه بقوة أكبر. [85]

تُشير تقارير أخرى إلى أنه من غير المرجح منح تسجيلًا للعلامة التجارية "GPT وحده، [7][86] نظرًا للاستخدام المتكرر للمصطلح للإشارة ببساطة إلى أنظمة الذكاء الاصطناعي التي تنطوي على المحولات التوليدية المدربة مسبقًا. [4][87][88][89] وفي كل الأحوال سيحتاج الآخرون إلى تجنب استخدام المصطلح لمنتجات أو خدمات مُماثلة بطرق يُحتمل أن تُسبب ارتباكًا. [28][90] لكن إذا أصبحت هذه الحقوق واسعة النطاق بما يكفي لتوريط استخدامات أخرى راسخة في هذا المجال، فإن مبدأ الاستخدام العادل الوصفي للعلامات التجارية لا يزال يُمكن أن يُواصل الاستخدام غير المُتعلق بالعلامة التجارية. [91]

قائمة المراجع المُختارة

عدل

فيما يلي قائمة بالإصدارات الرسمية الرئيسية من "أوبن أيه آي"، ومايكروسوفت حول نماذج GPT الخاصة بهم:

  • GPT-1: تقرير،[7] إصدار على GitHub.[92]
  • GPT-2: إعلان في مدونة،[93] تقرير حول قرار الإصدار "المتدرج"،[94] إصدار على GitHub.[95]
  • GPT-3: تقرير.[39] لم يتم إصدار الكود على GitHub أو بأي صيغة أخرى منذ ذلك الحين.
  • WebGPT: إعلان في مدونة،[96] تقرير،[97]
  • InstructGPT: إعلان في مدونة،[52] تقرير.[53]
  • ChatGPT: إعلان في مدونة (لا يوجد تقرير).[57]
  • GPT-4: إعلان في مدونة،[98] تقارير،[36][99] بطاقة نموذج.[100]
  • GPT-4o: إعلان في مدونة.[101]

المصادر

عدل
  1. ^ معجم البيانات والذكاء الاصطناعي (PDF) (بالعربية والإنجليزية)، الهيئة السعودية للبيانات والذكاء الاصطناعي، 2022، ص. 72، QID:Q111421033
  2. ^ Haddad، Mohammed. "How does GPT-4 work and how can you start using it in ChatGPT?". www.aljazeera.com. مؤرشف من الأصل في 2023-07-05. اطلع عليه بتاريخ 2024-10-28.
  3. ^ ا ب "Generative AI: a game-changer society needs to be ready for". World Economic Forum. مؤرشف من الأصل في 2023-04-25. اطلع عليه بتاريخ 2024-10-28.
  4. ^ ا ب ج The A to Z of Artificial Intelligence 2023.
  5. ^ Toews، Rob. "The Next Generation Of Large Language Models". Forbes. مؤرشف من الأصل في 2023-02-08. اطلع عليه بتاريخ 2024-10-28.
  6. ^ Mckendrick 2023.
  7. ^ ا ب ج د ه و ز Improving language understanding with unsupervised learning 2018.
  8. ^ GPT-1 to GPT-4: Each of OpenAI's GPT Models Explained and Compared 2023.
  9. ^ "GPT-4". openai.com (بالإنجليزية). Archived from the original on 2023-09-15. Retrieved 2023-12-08.
  10. ^ Haddad، Mohammed. "How does GPT-4 work and how can you start using it in ChatGPT?". www.aljazeera.com. مؤرشف من الأصل في 2023-07-05. اطلع عليه بتاريخ 2024-10-28.
  11. ^ ا ب ج Alford 2021.
  12. ^ ا ب ج "News" (Press release). مؤرشف من الأصل في 2023-03-29. اطلع عليه بتاريخ 2024-10-28.
  13. ^ ا ب Morrison 2023.
  14. ^ "The ChatGPT of Finance is Here, Bloomberg is Combining AI and Fintech". فوربس. اطلع عليه بتاريخ 2024-10-28.
  15. ^ Hinton (et-al) 2012.
  16. ^ Deng 2014، صفحات e2.
  17. ^ Erhan 2010، صفحات 201–208.
  18. ^ First-Hand:The Hidden Markov Model – Engineering and Technology History Wiki 2015.
  19. ^ Juang 1991، صفحات 251–272.
  20. ^ Cottrell 1987.
  21. ^ Cottrell 1991، صفحات 328–337.
  22. ^ Schmidhuber 1992، صفحات 234–242.
  23. ^ Elman 1988، صفحات 1615–1626.
  24. ^ Bourlard 1988، صفحات 291–294.
  25. ^ Hinton 1993.
  26. ^ Vaswani 2017.
  27. ^ Devlin 2019.
  28. ^ ا ب ج د Radford 2018، صفحة 12.
  29. ^ Radford 2017.
  30. ^ Chen 2021.
  31. ^ "New GPT-3 capabilities: Edit & insert". openai.com (بالإنجليزية). Archived from the original on 2023-09-28. Retrieved 2023-06-24.
  32. ^ Fu 2022.
  33. ^ "Model index for researchers". OpenAI API (بالإنجليزية). Archived from the original on 2023-06-23. Retrieved 2023-06-23.
  34. ^ Introducing the Center for Research on Foundation Models (CRFM) 2021.
  35. ^ Reflections on Foundation Models 2021.
  36. ^ ا ب ج د OpenAI 2023.
  37. ^ Zhu 2015، صفحات 19–27.
  38. ^ Vincent 2019.
  39. ^ ا ب ج د Brown 2020.
  40. ^ ا ب ج "ML input trends visualization". Epoch (بالإنجليزية). Retrieved 2023-05-02.
  41. ^ ا ب Ver Meer 2023.
  42. ^ GPT-4 has more than a trillion parameters – Report 2023.
  43. ^ Vincent 2023.
  44. ^ "Google Opens Access to PaLM Language Model". AI Business. اطلع عليه بتاريخ 2024-10-28.
  45. ^ Iyer 2022.
  46. ^ "Meta Debuts AI Language Model, But It's Only for Researchers". PCMAG. اطلع عليه بتاريخ 2024-10-28.
  47. ^ Islam 2023.
  48. ^ Islam 2022.
  49. ^ Saha 2023.
  50. ^ Wu (et-al) 2023.
  51. ^ Bommasani (et-al) 2022.
  52. ^ ا ب "Aligning language models to follow instructions". openai.com. مؤرشف من الأصل في 2023-03-23. اطلع عليه بتاريخ 2023-03-23.
  53. ^ ا ب Ouyang 2022.
  54. ^ Ramnani 2022.
  55. ^ "Stanford CRFM". crfm.stanford.edu. مؤرشف من الأصل في 2023-03-23. اطلع عليه بتاريخ 2024-10-28.
  56. ^ Free Dolly: Introducing the World's First Truly Open Instruction-Tuned LLM 2023.
  57. ^ ا ب "Introducing ChatGPT". openai.com (بالإنجليزية). Archived from the original on 2023-03-16. Retrieved 2023-03-16.
  58. ^ Wiggers 2023.
  59. ^ "ChatGPT vs. Bing vs. Google Bard: Which AI Is the Most Helpful?". CNET. اطلع عليه بتاريخ 2024-10-28.
  60. ^ Auto-GPT, BabyAGI, and AgentGPT: How to use AI agents 2023.
  61. ^ Marr، Bernard. "Auto-GPT May Be The Strong AI Tool That Surpasses ChatGPT". Forbes. مؤرشف من الأصل في 2023-12-27. اطلع عليه بتاريخ 2024-10-28.
  62. ^ "Microsoft Open-Sources Multimodal Chatbot Visual ChatGPT". InfoQ. اطلع عليه بتاريخ 2024-10-28.
  63. ^ Edwards 2023.
  64. ^ Sharma 2023، صفحات 80–90.
  65. ^ Leswing 2023.
  66. ^ Learning nonprofit Khan Academy is piloting a version of GPT called Khanmigo 2023.
  67. ^ "Khan Academy Pilots GPT-4 Powered Tool Khanmigo for Teachers". THE Journal. اطلع عليه بتاريخ 2024-10-28.
  68. ^ Hachman 2023.
  69. ^ Luo (et-al) 2023.
  70. ^ Know about ChatGPT's 13 best plugins, designed to improve your overall user experience 2023.
  71. ^ "ChatGPT plugins". openai.com. مؤرشف من الأصل في 2023-03-26. اطلع عليه بتاريخ 2024-10-28.
  72. ^ How to Use ChatGPT on Google Sheets With GPT for Sheets and Docs 2023.
  73. ^ Asay 2023.
  74. ^ Comprehensive Guide To Exploring OpenAI’s Custom ChatGPT2023|What are GPTs? | Comprehensive Guide To Exploring OpenAI’s Custom ChatGPT 2023.
  75. ^ "What are GPTs? OpenAI's Custom Chatbots with Practical Examples". seo.ai. اطلع عليه بتاريخ 2024-10-28.
  76. ^ "What is the GPT Store from OpenAI?". مؤرشف من الأصل في 2024-09-14. اطلع عليه بتاريخ 2024-10-28.
  77. ^ Hicks 2023.
  78. ^ "Brand guidelines". OpenAI. اطلع عليه بتاريخ 2024-10-28.
  79. ^ "Introducing GPTS". OpenAI. مؤرشف من الأصل في 2023-11-07. اطلع عليه بتاريخ 2024-10-28.
  80. ^ Heah 2023.
  81. ^ NONFINAL OFFICE ACTION 2023.
  82. ^ U.S. Trademark Law 2015.
  83. ^ "International Trademark Rights". اطلع عليه بتاريخ 2024-10-28.
  84. ^ OpenAI Wants to Trademark 'GPT' Amid Rise of AI Chatbots 2023.
  85. ^ Louise 2023.
  86. ^ Demcak 2023.
  87. ^ Lawton 2023.
  88. ^ Robb 2023.
  89. ^ Russo 2023.
  90. ^ "Trademark infringement". Legal Information Institute. مؤرشف من الأصل في 2023-09-03. اطلع عليه بتاريخ 2024-10-28.
  91. ^ Rheintgen 2013.
  92. ^ finetune-transformer-lm 2018.
  93. ^ "GPT-2: 1.5B release". openai.com (بالإنجليزية). Retrieved 2023-05-01.
  94. ^ Solaiman 2019.
  95. ^ gpt-2 2023.
  96. ^ "WebGPT: Improving the factual accuracy of language models through web browsing". openai.com (بالإنجليزية). Archived from the original on 2023-06-21. Retrieved 2023-07-02.
  97. ^ Nakano 2021.
  98. ^ "GPT-4". openai.com (بالإنجليزية). Archived from the original on 2023-09-15. Retrieved 2023-05-01.
  99. ^ Bubeck 2023.
  100. ^ "GPT-4 System Card" (PDF). أوبن أيه آي. مؤرشف من الأصل (pdf) في 2023-03-27. اطلع عليه بتاريخ 2024-10-28.
  101. ^ Hello GPT-4o 2024.

المراجع

عدل
مجلوبة من «https://ar.wikipedia.org/w/index.php?title=محول_مولد_مسبق_التدريب&oldid=68683098»