جوجل بوت
جوجل بوت (بالإنجليزية: Googlebot) هو برنامج من نوع زاحف الشبكة والذي تستخدمه جوجل، حيث يقوم بجمع المستندات من الويب لإنشاء فهرس يمكن البحث فيه لمحرك بحث جوجل. يُستخدم هذا الاسم للإشارة إلى نوعين مختلفين من برامج زاحف الشبكة: زاحف سطح المكتب (لمحاكاة مستخدمي سطح المكتب) وزاحف الجوال (لمحاكاة مستخدم الهاتف).[2]
طريقة عمله
عدلمن المحتمل أن يتم الزحف إلى موقع ويب بواسطة كل من جوجل بوت سطح المكتب وجوجل بوت الجوال. يمكن التعرف على النوع الفرعي لبرنامج جوجل بوت من خلال النظر في سلسلة وكيل المستخدم في الطلب. ومع ذلك، يلتزم كِلا نوعي الزاحف برمز المنتج نفسه (الرمز المميز المفيد) في ملف robots.txt، وبالتالي لا يستطيع المطور استهداف جوجل للجوال أو جوجل لسطح المكتب باستخدام ملف robots.txt بشكل انتقائي.
إذا رغب مشرف الموقع في تقييد المعلومات الموجودة على موقعه المتاح لبرنامج جوجل بوت، أو عنكبوت آخر حسن التصرف، فيمكنه القيام بذلك باستخدام التوجيهات المناسبة في ملف robots.txt ،[3] أو عن طريق إضافة العلامة الوصفية <meta name="Googlebot" content="nofollow" /> إلى صفحة الويب.[4] يمكن التعرف على طلبات جوجل بوت إلى خوادم الويب من خلال سلسلة وكيل مستخدم تحتوي على «جوجل بوت» وعنوان مضيف يحتوي على "googlebot.com".
حاليًا، يتبع جوجل بوت روابط المواقع وروابط الملفات.[3] هناك أدلة متزايدة على أن جوجل بوت يمكنه تشغيل أكواد جافا سكريبت وتحليل المحتوى الناتج عن أكواد أجاكس أيضًا.[5] هناك العديد من النظريات المتعلقة بمدى تقدم قدرة جوجل بوت على معالجة جافا سكريبت، وتتراوح الآراء بين الحد الأدنى من القدرة المستمدة من مترجمين مخصصين.[6] حاليًا، يستخدم جوجل بوت خدمة عرض الويب (WRS) والتي تستند إلى محرك عرض كروميوم (الإصدار 74 بتاريخ 7 مايو 2019).[7] يكتشف جوجل بوت الصفحات عن طريق تجميع جميع الروابط في كل صفحة يعثر عليها. ثم يقوم بتتبع هذه الروابط إلى صفحات الويب الأخرى. يجب ربط صفحات الويب الجديدة من صفحات أخرى معروفة على الويب ليتم الزحف إليها وفهرستها أو إرسالها يدويًا بواسطة مشرف الموقع.
غالبًا ما يلاحظ مُشرفي المواقع الذين لديهم خطط استضافة ويب ذات نطاق بيانات منخفض أن جوجل بوت يستهلك قدرًا هائلاً من نطاق البيانات. وقد يتسبب ذلك في تجاوز مواقع الويب لحد النطاق الترددي وإزالتها مؤقتًا. هذا أمر مزعج بشكل خاص للمواقع المتطابقة والتي تستضيف مساحة كبيرة بمقياس جيجابايت من البيانات. توفر جوجل خدمة «تحكم البحث» والتي تتيح لمالكي مواقع الويب التحكم في معدل الزحف.[8]
عدد المرات التي يزحف فيها جوجل بوت إلى موقع ما يعتمد على ميزانية الزحف. ميزانية الزحف هي تقدير لعدد المرات التي يتم فيها تحديث موقع الويب. من الناحية الفنية، يستخدم فريق تطوير جوجل بوت (فريق الزحف والفهرسة) العديد من المصطلحات المحددة داخليًا لتولي مسؤولية «ميزانية الزحف».[9] منذ مايو 2019، يستخدم جوجل بوت أحدث محرك عرض من كروميوم، والذي يدعم ميزات إي سي إم إيه سكريبت 6. سيؤدي هذا إلى جعل الروبوت «دائم الحداثة» بشكل أكبر ويضمن أنه لا يعتمد على محرك عرض قديم مقارنة بإمكانيات المتصفح.[10]
ميديابوت
عدلميديابوت هو زاحف الويب الذي تستخدمه جوجل لتحليل المحتوى حتى يتمكن جوجل أدسنس من تقديم إعلانات ذات صلة بالسياق لصفحة ويب. يُعرّف ميديابوت نفسه بسلسلة وكيل المستخدم "Mediapartners-Google / 2.1".
على عكس برامج الزحف الأخرى، لا يتبع ميديابوت الروابط لاكتشاف عناوين جديدة القابلة للزحف إليها، وبدلاً من ذلك يزور فقط العناوين التي تتضمن شفرة أدسنس. عندما يكون هذا المحتوى محميًا بمعلومات تسجيل دخول، يمكن منح الزاحف تسجيل دخول حتى يتمكن من الزحف إلى المحتوى المحمي.
مراجع
عدل- ^ ا ب وصلة مرجع: https://developers.google.com/search/docs/crawling-indexing/verifying-googlebot.
- ^ "Googlebot". Google. 11 مارس 2019. مؤرشف من الأصل في 2020-12-12. اطلع عليه بتاريخ 2019-03-11.
- ^ ا ب "Google Search Console". Google.com. مؤرشف من الأصل في 2020-12-14.
- ^ "Google Search Console". search.google.com. مؤرشف من الأصل في 2020-12-14. اطلع عليه بتاريخ 2019-03-11.
- ^ "Understand the JavaScript SEO basics | Search for Developers". Google Developers (بالإنجليزية). Archived from the original on 2020-11-03. Retrieved 2020-07-26.
- ^ Splitt، Martin. "How Google Search indexes JavaScript sites - JavaScript SEO". YouTube. مؤرشف من الأصل في 2020-11-08.
- ^ "The new evergreen Googlebot". Official Google Webmaster Central Blog (بالإنجليزية). Archived from the original on 2020-11-06. Retrieved 2019-06-07.
- ^ "Google - Webmasters". Google.com. مؤرشف من الأصل في 2020-12-12. اطلع عليه بتاريخ 2012-12-15.
- ^ "What Crawl Budget Means for Googlebot". Official Google Webmaster Central Blog (بالإنجليزية الأمريكية). Archived from the original on 2020-12-13. Retrieved 2018-07-04.
- ^ "The new evergreen Googlebot". Official Google Webmaster Central Blog (بالإنجليزية). Archived from the original on 2020-11-06. Retrieved 2019-06-17.
